Interprétation de exp (B) dans la régression logistique multinomiale

C'est en quelque sorte une question de débutant, mais comment interpréter un résultat exp (B) de 6.012 dans un modèle de régression logistique multinomial?

1) est-ce 6,012-1,0 = 5,012 = 5012% d'augmentation du risque?

ou

2) 6,012 / (1 + 6,012) = 0,857 = 85,7% d'augmentation du risque?

Dans le cas où les deux alternatives sont incorrectes, quelqu'un peut-il indiquer la bonne façon?

J'ai recherché de nombreuses ressources sur Internet et j'arrive à ces deux alternatives, et je ne suis pas tout à fait sûr de celle qui est correcte.

Il nous faudra un certain temps pour y arriver, mais en résumé, un changement d'une unité dans la variable correspondant à B multipliera le risque relatif du résultat (par rapport au résultat de base) par 6,012.

On pourrait exprimer cela comme une augmentation de "5012%" du risque relatif , mais c'est une façon confuse et potentiellement trompeuse de le faire, car cela suggère que nous devrions penser aux changements de manière additive, alors qu'en fait le modèle logistique multinomial nous encourage fortement à pensez de manière multiplicative. Le modificateur «relatif» est essentiel, car un changement dans une variable modifie simultanément les probabilités prédites de tous les résultats, pas seulement celui en question, nous devons donc comparer les probabilités (au moyen de ratios, pas de différences).

Le reste de cette réponse développe la terminologie et l'intuition nécessaires pour interpréter correctement ces déclarations.

Contexte

Commençons par une régression logistique ordinaire avant de passer au cas multinomial.

Pour la variable dépendante (binaire) et les variables indépendantes , le modèle estX $Y$$X_i$

$$\Pr[Y=1] = \frac{\exp(\beta_1 X_1 + \cdots + \beta_m X_m)}{1+\exp(\beta_1 X_1 + \cdots + \beta_m X_m)};$$

de manière équivalente, en supposant ,$0 \ne \Pr[Y=1] \ne 1$

$$\log(\rho(X_1, \cdots, X_m)) = \log\frac{\Pr[Y=1]}{\Pr[Y=0]} = \beta_1 X_1 + \cdots + \beta_m X_m.$$

(Cela définit simplement , qui est la cote en fonction du .)X $\rho$$X_i$

Sans aucune perte de généralité, le pour que soit la variable et soit le "B" dans la question (pour que ). Fixer les valeurs de et faire varier d'une petite quantité donneX m β m exp ( β m ) = 6,012 X i , 1 ≤ i < m X m$X_i$$X_m$$\beta_m$$\exp(\beta_m)=6.012$$X_i, 1\le i\lt m$$X_m$$\delta$

$$\log(\rho(\cdots, X_m+\delta)) - \log(\rho(\cdots, X_m)) = \beta_m \delta.$$

Ainsi, est le changement marginal des cotes de log par rapport à .X $\beta_m$ $X_m$

Pour récupérer , il faut évidemment définir et exposer le côté gauche:δ = $\exp(\beta_m)$$\delta=1$

$$\eqalign{ \exp(\beta_m) &= \exp(\beta_m \times 1) \\ & = \exp( \log(\rho(\cdots, X_m+1)) - \log(\rho(\cdots, X_m))) \\ & = \frac{\rho(\cdots, X_m+1)}{\rho(\cdots, X_m)}. }$$

Cela présente comme le rapport de cotes pour une augmentation d'une unité de . Pour développer une intuition de ce que cela pourrait signifier, tabulez quelques valeurs pour une plage de cotes de départ, en arrondissant fortement pour faire ressortir les modèles:X $\exp(\beta_m)$$X_m$

Starting odds  Ending odds  Starting Pr[Y=1]  Ending Pr[Y=1]
0.0001         0.0006       0.0001            0.0006
0.001          0.006        0.001             0.006
0.01           0.06         0.01              0.057
0.1            0.6          0.091             0.38
1.             6.           0.5               0.9
10.            60.          0.91              1.
100.           600.         0.99              1.

Pour des cotes vraiment petites , qui correspondent à des probabilités très petites , l'effet d'une augmentation d'une unité dans est de multiplier les cotes ou la probabilité par environ 6,012. Le facteur multiplicatif diminue à mesure que les chances (et la probabilité) augmentent, et a essentiellement disparu une fois que les chances dépassent 10 (la probabilité dépasse 0,9).$X_m$

En tant que changement additif , il n'y a pas beaucoup de différence entre une probabilité de 0,0001 et 0,0006 (c'est seulement 0,05%), pas plus qu'il n'y a beaucoup de différence entre 0,99 et 1. (seulement 1%). L'effet additif le plus important se produit lorsque les cotes sont égales à , où la probabilité passe de 29% à 71%: une variation de + 42%.$1/\sqrt{6.012} \sim 0.408$

Nous voyons donc que si nous exprimons le "risque" comme un rapport de cotes, = "B" a une interprétation simple - le rapport de cotes est égal à pour une augmentation d'unité de mais lorsque nous exprimons le risque dans certains d'une autre manière, comme un changement de probabilités, l'interprétation nécessite de préciser la probabilité de départ.β m X $\beta_m$$\beta_m$$X_m$

Régression logistique multinomiale

(Ceci a été ajouté en tant que modification ultérieure.)

Ayant reconnu la valeur de l'utilisation des cotes de log pour exprimer les chances, passons au cas multinomial. Maintenant, la variable dépendante peut être égale à l'une des catégories, indexées par . La probabilité relative qu'il se trouve dans la catégorie estk ≥ 2 i = 1 , 2 , … , k $Y$$k \ge 2$$i=1, 2, \ldots, k$$i$

$$\Pr[Y_i] \sim \exp\left(\beta_1^{(i)} X_1 + \cdots + \beta_m^{(i)} X_m\right)$$

avec les paramètres à déterminer et en écrivant pour . Comme abréviation, écrivons l'expression de droite comme ou, où et sont claires par rapport au contexte, simplement . Normaliser pour que toutes ces probabilités relatives soient égales à l'unité donne Y i Pr [ Y = catégorie  i ] p i ( X , β ) X β p $\beta_j^{(i)}$$Y_i$$\Pr[Y=\text{category }i]$$p_i(X,\beta)$$X$$\beta$$p_i$

$$\Pr[Y_i] =\frac{p_i(X,\beta)}{p_1(X,\beta) + \cdots + p_m(X,\beta)}.$$

(Il y a une ambiguïté dans les paramètres: ils sont trop nombreux. Classiquement, on choisit une catégorie "de base" pour comparaison et force tous ses coefficients à zéro. Cependant, bien que cela soit nécessaire pour rendre compte d'estimations uniques des bêtas, il n'est pas nécessaire d'interpréter les coefficients. Pour maintenir la symétrie - c'est-à-dire pour éviter toute distinction artificielle entre les catégories - n'appliquons pas une telle contrainte à moins que nous ne le soyons obligés.)

Une façon d'interpréter ce modèle consiste à demander le taux de variation marginal des cotes logarithmiques pour n'importe quelle catégorie (disons la catégorie ) par rapport à l'une quelconque des variables indépendantes (disons ). C'est-à-dire que lorsque nous modifions un peu, cela induit un changement dans les cotes logarithmiques de . Nous nous intéressons à la constante de proportionnalité reliant ces deux changements. La règle de chaîne du calcul, avec une petite algèbre, nous dit que ce taux de changement estX j X j Y $i$$X_j$$X_j$$Y_i$

$$\frac{\partial\ \text{log odds}(Y_i)}{\partial\ X_j} = \beta_j^{(i)} - \frac{\beta_j^{(1)}p_1 + \cdots + \beta_j^{(i-1)}p_{i-1} + \beta_j^{(i+1)}p_{i+1} +\cdots + \beta_j^{(k)}p_k}{p_1 + \cdots + p_{i-1} + p_{i+1} + \cdots + p_k}.$$

Cela a une interprétation relativement simple comme le coefficient de dans la formule pour la chance que soit dans la catégorie moins un "ajustement". L'ajustement est la moyenne pondérée en fonction de la probabilité des coefficients de dans toutes les autres catégories . Les coefficients de pondération sont calculés en utilisant les probabilités associées aux valeurs courantes des variables indépendantes . Ainsi, la variation marginale des logs n'est pas nécessairement constante: elle dépend des probabilités de toutes les autres catégories, et pas seulement de la probabilité de la catégorie en question (catégorie ).$\beta_j^{(i)}$ Y i X j X $X_j$$Y$$i$$X_j$$X$$i$

Lorsqu'il n'y a que catégories, cela devrait se réduire à une régression logistique ordinaire. En effet, la pondération de probabilité ne fait rien et (choisir ) donne simplement la différence . Laisser la catégorie être le cas de base le réduit encore à , car nous . Ainsi, la nouvelle interprétation généralise l'ancienne.i = 2 β ( 2 ) j - β ( 1 ) j i β ( 2 ) j β ( 1 ) j = $k=2$$i=2$$\beta_j^{(2)} - \beta_j^{(1)}$$i$$\beta_j^{(2)}$$\beta_j^{(1)}=0$

Pour interpréter , nous allons donc l'isoler d'un côté de la formule précédente, conduisant à:$\beta_j^{(i)}$

Le coefficient de pour la catégorie est égal au changement marginal des cotes logarithmiques de la catégorie par rapport à la variable , plus la moyenne pondérée en fonction des probabilités des coefficients de tous les autres pour la catégorie .$X_j$$i$$i$$X_j$$X_{j'}$$i$

Une autre interprétation, quoique un peu moins directe, est fournie en définissant (temporairement) la catégorie comme cas de base, ce qui rend pour toutes les variables indépendantes :$i$$\beta_j^{(i)}=0$$X_j$

Le taux de variation marginal des cotes logarithmiques du cas de base pour la variable est le négatif de la moyenne pondérée en fonction de la probabilité de ses coefficients pour tous les autres cas.$X_j$

En fait, l'utilisation de ces interprétations nécessite généralement d'extraire les bêtas et les probabilités de la sortie du logiciel et d'effectuer les calculs comme indiqué.

Enfin, pour les coefficients exponentiels, notons que le rapport de probabilités entre deux résultats (parfois appelé le "risque relatif" de par rapport à ) est$i$$i'$

$$\frac{Y_{i}}{Y_{i'}} = \frac{p_{i}(X,\beta)}{p_{i'}(X,\beta)}.$$

Augmentons d'une unité à . Cela multiplie par et par , d'où le risque relatif est multiplié par = . Prendre la catégorie comme cas de base réduit cela à , ce qui nous amène à dire,X j + 1 p i exp ( β ( i ) j ) p i ' exp ( β ( i ′ ) j ) exp $X_j$$X_j+1$$p_{i}$$\exp(\beta_j^{(i)})$$p_{i'}$$\exp(\beta_j^{(i')})$exp $\exp(\beta_j^{(i)}) / \exp(\beta_j^{(i')})$$\exp(\beta_j^{(i)}-\beta_j^{(i')})$$i'$$\exp(\beta_j^{(i)})$

Le coefficient exponentiellement est le montant par lequel le risque relatif est multiplié lorsque la variable est augmentée d'une unité.$\exp(\beta_j^{(i)})$$\Pr[Y = \text{category }i]/\Pr[Y = \text{base category}]$$X_j$

Essayez de tenir compte de ce peu d'explication en plus de ce que @whuber a déjà si bien écrit. Si exp (B) = 6, alors le rapport de cotes associé à une augmentation de 1 sur le prédicteur en question est 6. Dans un contexte multinomial, par "rapport de cotes", nous entendons le rapport de ces deux quantités: a) les cotes ( pas la probabilité, mais plutôt p / [1-p]) d'un cas prenant la valeur de la variable dépendante indiquée dans le tableau de sortie en question, et b) les chances d'un cas prenant la valeur de référence de la variable dépendante.

Vous semblez chercher à quantifier la probabilité - plutôt que les probabilités - qu'un cas se trouve dans l'une ou l'autre catégorie. Pour ce faire, vous devez savoir avec quelles probabilités le cas "a commencé" - c'est-à-dire avant de supposer l'augmentation de 1 sur le prédicteur en question. Les ratios de probabilités varieront au cas par cas, tandis que le rapport de cotes lié à une augmentation de 1 sur le prédicteur reste le même.

Je cherchais également la même réponse, mais la réponse ci-dessus n'était pas satisfaisante pour moi. Cela semblait complexe pour ce que c'est vraiment. Je vais donc donner mon interprétation, veuillez me corriger si je me trompe.

Lisez cependant jusqu'au bout, car c'est important.

Tout d'abord, les valeurs B et Exp (B) sont celles que vous recherchez. Si le B est négatif, votre Exp (B) sera inférieur à un, ce qui signifie que les chances diminuent. S'il est supérieur, l'Exp (B) sera supérieur à 1, ce qui signifie que les chances augmentent. Puisque vous multipliez par le facteur Exp (B).

Malheureusement, vous n'y êtes pas encore. Parce que dans une régression multinominale, votre variable dépendante a plusieurs catégories, appelons ces catégories D1, D2 et D3. Dont votre dernier est la catégorie de référence. Et supposons que votre première variable indépendante soit le sexe (hommes vs femmes).

Disons que la sortie pour D1 -> hommes est exp (B) = 1,21, cela signifie que pour les hommes, les chances augmentent d'un facteur 1,21 pour être dans la catégorie D1 plutôt que D3 (catégorie de référence) par rapport aux femmes (catégorie de référence).

Vous comparez donc toujours avec votre catégorie de référence des variables dépendantes mais aussi indépendantes. Ce n'est pas vrai si vous avez une variable covariable. Dans ce cas, cela signifierait; une augmentation d'une unité de X augmente les chances d'un facteur de 1,21 d'être dans la catégorie D1 plutôt que D3.

Pour ceux avec une variable dépendante ordinale:

Si vous avez une variable dépendante ordinale et n'avez pas effectué de régression ordinale en raison de l'hypothèse de cotes proportionnelles par exemple. Gardez à l'esprit que votre catégorie la plus élevée est la catégorie de référence. Vos résultats comme ci-dessus sont valables pour rapporter. Mais gardez à l'esprit qu'une augmentation des cotes signifie en fait une augmentation des chances d'être dans la catégorie inférieure plutôt que la plus élevée! Mais ce n'est que si vous avez une variable dépendante ordinale.

Si vous voulez connaître l'augmentation en pourcentage, alors prenez une cote fictive, disons 100 et multipliez-la par 1,21 qui est 121? Par rapport à 100, combien a-t-il changé en pourcentage?

Supposons que exp (b) dans un mlogit soit 1,04. si vous multipliez un nombre par 1,04, il augmente de 4%. C'est le risque relatif d'être dans la catégorie a au lieu de b. Je soupçonne qu'une partie de la confusion ici pourrait avoir à voir avec 4% (sens multiplicatif) et 4 points de pourcentage (sens additif). L'interprétation du% est correcte si nous parlons d'une variation en pourcentage et non d'une variation en points de pourcentage. (Ce dernier n'aurait aucun sens de toute façon car les risques relatifs ne sont pas exprimés en termes de pourcentages.)