Pourquoi la régression logistique est-elle un modèle linéaire?

24

Je veux savoir pourquoi la régression logistique est appelée un modèle linéaire. Il utilise une fonction sigmoïde, qui n'est pas linéaire. Alors pourquoi la régression logistique est-elle un modèle linéaire?

regression logistic terminology user34790
la source

6

Le logit de (le log des cotes) est linéaire dans les paramètres, mais les gens ne se réfèrent pas à la régression logistique comme linéaire pour autant que je sache. Pouvez-vous citer qui a dit cela?

π

$\pi$

gung - Rétablir Monica

@ gung-ReinstateMonica Par exemple, dans le livre Deep Learning à la page 169 ( deeplearningbook.org/contents/mlp.html ). Dans le livre, ils notent que «les modèles linéaires, tels que la régression logistique et la régression linéaire, sont attrayants ...».

JEUNE

33

Le modèle de régression logistique est de la forme On l'appelle un modèle linéaire généralisé non pas parce que la probabilité estimée de l'événement de réponse est linéaire, mais parce que le logit de la réponse de probabilité estimée est une fonction linéaire des paramètres des ~~prédicteurs~~ .

l o g i t (p_{i}) = l n (\frac{p_{i}}{1 - p_{i}}) = β_{0} + β_{1} x_{1, i} + β_{2} x_{2, i} + \dots + β_{p} x_{p, i} .

$\mathrm{logit}(p_i) = \mathrm{ln}\left(\frac{p_i}{1-p_i}\right) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i}.$

Plus généralement, le modèle linéaire généralisé est de la forme où est la valeur attendue de la réponse compte tenu des covariables.

g (μ_{i}) = β_{0} + β_{1} x_{1, i} + β_{2} x_{2, i} + \dots + β_{p} x_{p, i},

$\mathrm{g}(\mu_i) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i},$

μ

$\mu$

Edit: Merci whuber pour la correction.

P Schnell
la source

7

Si vous deviez écrire "linéaire généralisée" au lieu de "linéaire" et des paramètres au lieu de prédicteurs, ce serait correct. (De nombreux modèles de régression logistique ne sont pas linéaires dans les prédicteurs. Par exemple, aucune régression logistique avec un terme d'interaction ne sera linéaire dans les prédicteurs.)

whuber

Vous avez raison, merci. J'ai mis à jour ma réponse pour refléter cela.

P Schnell

qu'est-ce que Pi là-bas?

Aerin

7

La régression logistique utilise l'équation linéaire générale . Dans la régression linéaire, est une variable dépendante continue, mais dans la régression logistique, elle régresse pour la probabilité d'un résultat catégoriel (par exemple 0 et 1). $Y=b_0+∑(b_i X_i)+\epsilon$ $Y$

La probabilité de est: $Y=1$

P (Y = 1) = \frac{1}{1 + e^{- (b_{0} + \sum (b_{i} X_{i}))}}

$P(Y=1) = {1 \over 1+e^{-(b_0+\sum{(b_iX_i)})}}$

lennon310
la source

7

Linéaire signifie linéaire en bêtas (les coefficients) mais pas en x (les variables indépendantes), donc tant que vos bêtas ne sont pas non linéaires, votre modèle est linéaire.

Yilun Zhang
la source

3

C'est vrai - mais malheureusement, la régression logistique est un modèle linéaire généralisé et il n'est pas linéaire dans les paramètres.

whuber

Pourquoi la régression logistique est-elle un modèle linéaire?

Réponses: