Un moignon de décision est-il un modèle linéaire?

Le moignon de décision est un arbre de décision avec une seule division. Il peut également être écrit comme une fonction par morceaux.

Par exemple, supposons que $x$ est un vecteur, et $x_1$ est le premier composant de , dans le cadre de la régression, un moignon de décision peut être $x$

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

Mais est-ce un modèle linéaire? où peut être écrit comme ? Cette Question peut sembler étrange, car comme mentionné dans les réponses et commentaires, si nous traçons la fonction par morceaux, ce n'est pas une ligne. Veuillez consulter la section suivante pour savoir pourquoi je pose cette question. $f(x)=\beta^T x$

ÉDITER:

La raison pour laquelle je pose cette question est la régression logistique est un modèle linéaire (généralisé) et la frontière de décision est une ligne, également pour le moignon de décision. Remarque, nous avons également cette question: pourquoi la régression logistique est-elle un modèle linéaire? . En revanche, il ne semble pas vrai que le moignon de décision soit un modèle linéaire.

Une autre raison pour laquelle j'ai posé cette question est à cause de cette question: En boostant, si l'apprenant de base est un modèle linéaire, le modèle final est-il simplement un modèle linéaire simple? où, si nous utilisons un modèle linéaire comme apprenant de base, nous n'obtenons rien de plus qu'une régression linéaire. Mais si nous sélectionnons l'apprenant de base comme moignon de décision, nous obtenons un modèle très intéressant.

Voici un exemple d'augmentation de moignon de décision sur la régression avec 2 caractéristiques et 1 réponse continue.

machine-learning cart linear boosting Haitao Du
la source

Pourquoi le considérez-vous comme linéaire ..?

Tim

@ hxd1011 important de faire la distinction entre la frontière de décision et la fonction de décision ici

shadowtalker

Je pourrais l'appeler un polynôme d'ordre 1000 avec toutes les commandes de 1 à 1000 égales à zéro. Je pourrais l'appeler un modèle d'ordre zéro (aka constant) et il communiquerait plus succinctement les principales caractéristiques. Un arbre classique est constant par morceaux. L'arbre trivial, une souche, est une seule division dans l'espace où le modèle d'un côté est constant et l'autre est une constante différente. Ce n'est pas globalement constant, mais ce n'est pas non plus poly1. La bibliothèque "cubiste" de R correspond aux modèles linéaires réels (poly1) au lieu des modèles constants. Vous pourriez essayer ça.

EngrStudent

Si vous tracez une ligne dans le plan (disons y = 0), et prenez n'importe quelle fonction

, alors

aura des lignes de contour qui sont des lignes réelles (parallèles à l' axe

), mais ce ne sera pas une fonction linéaire.

f (x)

$f(x)$

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

Matthew Drury

C'est une étrange question. Pouvez-vous tracer la fonction de votre exemple (qui est égale à 3 pour x <2 et 5 pour x> 2)? Regardez-le - est-ce une ligne droite? Si ce n'est pas une ligne droite, ce n'est pas une fonction linéaire.

amibe dit Réintégrer Monica

Réponses:

Non, sauf si vous transformez les données.

C'est un modèle linéaire si vous transformez utilisant la fonction d'indicateur: $x$

x^{'} = I ({x > 2}) = {\begin{cases} \begin{aligned} 0 & x \leq 2 \\ 1 & x > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

Alors $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

Edit: cela a été mentionné dans les commentaires mais je tiens à le souligner ici également. Toute fonction qui partitionne les données en deux parties peut être transformée en un modèle linéaire de cette forme, avec une interception et une entrée unique (un indicateur de quel "côté" de la partition le point de données est activé). Il est important de noter la différence entre une fonction de décision et une frontière de décision .

shadowtalker
la source

"transformer" est délicat, je pense que le réseau de neurones (MLP) est non linéaire, mais après transformation, il est linéaire ..

Haitao Du

x^{'}

$x'$

x \leq 2

$x \leq 2$

@ hxd1011 la réponse est "non, sauf si vous transformez les données"

shadowtalker

Je vous suggère de modifier votre réponse pour y inclure "non, sauf si vous transformez les données" (de votre dernier commentaire) en elle. Actuellement, vos premiers mots sont "C'est un modèle linéaire", et les gens peuvent être confus.

amibe dit Réintégrer Monica

Réponses à vos questions:

Un moignon de décision n'est pas un modèle linéaire.
La frontière de décision peut être une ligne, même si le modèle n'est pas linéaire. La régression logistique en est un exemple.
Le modèle renforcé ne doit pas nécessairement être le même type de modèle que l'apprenant de base. Si vous y réfléchissez, votre exemple de boost, plus la question à laquelle vous avez lié, prouve que le moignon de décision n'est pas un modèle linéaire.

Flet
la source

Cette réponse est plus verbeuse que nécessaire pour simplement répondre à la question. J'espère provoquer quelques commentaires de vrais experts.

Une fois, j'étais dans une salle d'audience et le juge a demandé (pour une bonne raison dans le contexte), si nous appelons la queue d'un chien une jambe, cela signifie-t-il qu'un chien a 5 jambes? Qu'est-ce qu'un modèle linéaire?

$f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$ avec la contrainte importante que les termes d'erreur sont indépendants et normalement distribués. Avec cette définition, on ne peut pas dire si votre modèle est linéaire car vous n'avez donné aucune information sur le terme d'erreur. Si l'on supprime la contrainte de terme d'erreur, elle est alors tautologiquement linéaire dans la fonction que vous donnez ou dans la fonction que donne ssdecontrol. Cependant naïvement, dans le contexte de cette question, cela peut ne pas être satisfaisant. Toute fonction peut être considérée comme la base d'un linéaire dans ce sens. En effet, tout espace de fonctions peut être transformé en un espace vectoriel de fonctions.

$\beta$ $f(x) = \beta^{T} x$

$f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

meh
la source

La linéarité n'a rien à voir avec les termes d'erreur. Cela tient au fait qu'il consiste en une combinaison linéaire des paramètres . Cela représente une ligne droite dans l'espace 2D (mais représente plus généralement un plan).

shadowtalker

@ssdecontrol - Je peux seulement vous dire qu'une probabilité Ph.D. (et un étudiant de Kolmogorov à cela) a insisté pour que le terme «modèle linéaire», lorsqu'il est utilisé dans les statistiques, comprenait une déclaration sur le terme d'erreur. Je suis en fait très intéressé par la façon dont ce point de vue pourrait être courant. Linéaire a plusieurs significations. Par exemple, si l'on a une équation dans l'espace N

f (x) = 0

$f(x) = 0$

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$ . Cependant, la fonction serait linéaire

⟺ a_{0} = 0

$\iff a_0 = 0$

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$

si c'est ce qu'il insiste, alors c'est son opinion et non une sorte de fait dur. Pour autant que je sache, il n'y a pas de définition rigoureuse et acceptée d'un "modèle linéaire", et il n'y en a pas besoin dans mon esprit. Pour moi, le fait qu'il y ait un terme d'erreur implique simplement de transformer le modèle d'un "modèle linéaire" en un "modèle statistique linéaire". Je ne vois rien de intrinsèquement linéaire dans ses termes, et je ne vois rien de intrinsèquement statistique dans les modèles linéaires.

shadowtalker

L'OMI qui insiste sur la présence d'un terme d'erreur ne fait qu'écarter ce que, par exemple, l'ingénieur ou le physicien pourrait considérer comme un "modèle linéaire" d'un processus physique déterministe.

shadowtalker