Pourquoi la régression logistique est-elle un classifieur linéaire?

Puisque nous utilisons la fonction logistique pour transformer une combinaison linéaire de l’entrée en une sortie non linéaire, comment une régression logistique peut-elle être considérée comme un classifieur linéaire?

La régression linéaire est semblable à un réseau de neurones sans la couche cachée, alors pourquoi les réseaux de neurones sont-ils considérés comme des classificateurs non linéaires et la régression logistique est linéaire?

logistic classification neural-networks Jack Twain
la source

Transformer "une combinaison linéaire de l'entrée en une sortie non linéaire" est une partie fondamentale de la définition d'un classificateur linéaire . Cela ramène cette question à la deuxième partie, ce qui revient à démontrer que les réseaux de neurones ne peuvent généralement pas être exprimés sous forme de classificateurs linéaires.

whuber

@whuber: Comment expliquez-vous le fait qu'un modèle de régression logistique peut prendre des variables prédictives polynomiales (par exemple, ) pour produire une limite de décision non linéaire? Est-ce toujours un classifieur linéaire?

w_{1} \cdot x_{1}^{2} + w_{2} \cdot x_{2}^{3}

$w_1 \cdot x_1^2 + w_2 \cdot x_2^3$

stackoverflowuser2010

@Stack Le concept de "classifieur linéaire" semble provenir du concept de modèle linéaire. La "linéarité" dans un modèle peut prendre plusieurs formes, comme décrit à l' adresse stats.stackexchange.com/a/148713 . Si nous acceptons la caractérisation Wikipedia des classificateurs linéaires , votre exemple polynomial sera considéré comme non linéaire par rapport aux "entités" données et mais il sera linéaire par rapport aux entités et . Cette distinction fournit un moyen utile d'exploiter les propriétés de la linéarité.

x_{1}

$x_1$

x_{2}

$x_2$

x_{1}^{2}

$x_1^2$

x_{2}^{3}

$x_2^3$

whuber

Je suis encore un peu confus quant à la question de savoir quelle est la limite de décision d'un classificateur logistique linéaire? J'ai suivi le cours d'apprentissage automatique Andrew Ng sur Coursera et il a mentionné ce qui suit :! [Entrez la description de l'image ici ] ( i.stack.imgur.com/gHxfr.png ) Il me semble donc qu'il n'y a pas de réponse dépend de la linéarité ou de la non-linéarité de la limite de décision, cela dépend de la fonction d'hypothèse définie comme Htheta (X), où X est l'entrée et Theta les variables de notre problème. Cela a-t-il un sens pour vous?

Brokensword

Réponses:

La régression logistique est linéaire dans le sens où les prédictions peuvent être écrites comme : Ainsi, la prédiction peut être écrite en termes de , qui est une fonction linéaire de . (Plus précisément, la log-odds prédite est une fonction linéaire de .)

\hat{p} = \frac{1}{1 + e^{- \hat{μ}}}, where \hat{μ} = \hat{θ} \cdot x .

$\hat{p} = \frac{1}{1 + e^{-\hat{\mu}}}, \text{ where } \hat{\mu} = \hat{\theta} \cdot x.$

\hat{μ}

$\hat{\mu}$

x

$x$

x

$x$

Inversement, il n’existe aucun moyen de résumer la sortie d’un réseau de neurones en fonction d’une fonction linéaire de et c’est pourquoi les réseaux de neurones sont appelés non linéaires. $x$

De plus, pour la régression logistique, la limite de décision est linéaire: c'est la solution pour . La limite de décision d'un réseau de neurones n'est généralement pas linéaire. $\{x:\hat{p} = 0.5\}$ $\hat{\theta} \cdot x = 0$

Stefan Wager
la source

Votre réponse est la plus claire et la plus simple pour moi jusqu'à présent. Mais je suis un peu confus. Certaines personnes disent que le log-odds prédicat est une fonction linéaire de et d’autres disent que c’est une fonction linéaire de . Alors?!

x

$x$

θ

$\theta$

Jack Twain

puis aussi par votre explication. Peut-on dire que la prédication du réseau de neurones est une fonction linéaire des activations de la dernière couche cachée?

Jack Twain

Le journal des cotes prévu est linéaire dans et . Mais généralement, nous sommes plus intéressés par le fait que le log-odds est linéaire dans , car cela implique que la limite de décision est linéaire dans un espace .

\hat{θ} \cdot x

$\hat{\theta} \cdot x$

\hat{θ}

$\hat{\theta}$

x

$x$

x

$x$

x

$x$

Stefan Wager

x

$x$

x

$x$

@Pegah Je sais que c'est vieux, mais: La régression logistique a une limite de décision linéaire. Le résultat lui-même n'est pas linéaire, bien sûr, sa logistique. En fonction de quel côté de la ligne un point tombe, la sortie totale approchera (mais n'atteindra jamais) 0 ou 1 respectivement. Et d'ajouter à la réponse de Stefan Wagners: La dernière phrase n'est pas totalement correcte, un réseau de neurones est non linéaire lorsqu'il contient des activations non linéaires ou des fonctions de sortie. Mais il peut aussi être linéaire (si aucune non-linéarité n’a été ajoutée).

Chris

Comme le note Stefan Wagner, la limite de décision pour un classificateur logistique est linéaire. (Le classificateur a besoin que les entrées soient linéairement séparables.) Je voulais développer les calculs pour cela au cas où ce ne serait pas évident.

\frac{1}{1 + e^{- θ \cdot x}} = 0.5

${1 \over {1 + e^{-{\theta \cdot x}}}} = 0.5$

1 = e^{- θ \cdot x}

${1 = e^{-{\theta \cdot x}}}$

et, en prenant le journal naturel des deux côtés,

0 = - θ \cdot x = - \sum_{i = 0}^{n} θ_{i} x_{i}

$0 = -\theta \cdot x = -\sum\limits_{i=0}^{n} \theta_i x_i$

la limite de décision est donc linéaire.

La raison pour laquelle la frontière de décision pour un réseau neuronal n’est pas linéaire est qu’il existe deux couches de fonctions sigmoïdes dans le réseau neuronal: une dans chacun des noeuds de sortie plus une fonction sigmoïde supplémentaire pour combiner et limiter les résultats de chaque noeud de sortie.

Phil Bogle
la source

En réalité, vous pouvez obtenir une limite de décision non linéaire avec une seule couche ayant une activation. Voir l'exemple standard d'un réseau XOR avec un réseau de transmission à 2 couches.

James Hirschorn

$C_{0}$ $C_{1}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x)}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x)}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x | C_{0}) P (C_{0}) + P (x | C_{1}) P (C_{1})} = \frac{1}{1 + \exp (- \log \frac{P (x | C_{0})}{P (x | C_{1})} - \log \frac{P (C_{0})}{P (C_{1})})}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x|C_{0})P(C_{0})+P(x|C_{1})P(C_{1})} = \frac{1}{1+ \exp\left(-\log\frac{P(x|C_{0})}{P(x|C_{1})}-\log \frac{P(C_{0})}{P(C_{1})}\right)}$

1 + e^{ω x}

$1+e^{\omega x}$

P (x | C_{i}) = \exp (\frac{θ_{i} x - b (θ_{i})}{a (ϕ)} + c (x, ϕ))

$P(x|C_{i}) = \exp \left(\frac{\theta_{i} x -b(\theta_{i})}{a(\phi)}+c(x,\phi)\right)$

\log \frac{P (x | C_{0})}{P (x | C_{1})} = [(θ_{0} - θ_{1}) x - b (θ_{0}) + b (θ_{1})] / a (ϕ)

$\log\frac{P(x|C_{0})}{P(x|C_{1})} = \left[ (\theta_{0}-\theta_{1})x - b(\theta_{0})+b(\theta_{1}) \right]/a(\phi)$

Notez que nous supposons que les deux distributions appartiennent à la même famille et ont les mêmes paramètres de dispersion. Mais, dans cette hypothèse, la régression logistique peut modéliser les probabilités pour toute la famille des distributions exponentielles.

jpmuc
la source