Que signifie «toutes choses égales par ailleurs» dans une régression multiple?

Vous avez raison. Techniquement, c'est n'importe quelle valeur . Cependant, lorsque j'enseigne cela, je dis généralement aux gens que vous obtenez l'effet d'un changement d'une unité dans $X_j$ lorsque toutes les autres variables sont maintenues à leurs moyennes respectives. Je pense que c'est une façon courante de l'expliquer qui ne me concerne pas.

Je continue généralement à mentionner que si vous n'avez aucune interaction, sera l'effet d'un changement d'une unité dans , quelles que soient les valeurs de vos autres variables. Mais j'aime commencer par la formulation moyenne. La raison en est qu'il y a deux effets à inclure plusieurs variables dans un modèle de régression. Tout d'abord, vous obtenez l'effet de contrôlant les autres variables (voir ma réponse ici ). La seconde est que la présence des autres variables réduit (typiquement) la variance résiduelle du modèle, rendant vos variables (y compris $\beta_j$ $X_j$ $X_j$ $X_j$ ) 'plus significatif'. Il est difficile pour les gens de comprendre comment cela fonctionne si les autres variables ont des valeurs qui sont partout. Cela semble augmenter la variabilité d'une manière ou d'une autre. Si vous pensez à ajuster chaque point de données vers le haut ou vers le bas pour la valeur de chaque autre variable jusqu'à ce que toutes les autres variables aient été déplacées vers leurs moyennes respectives, il est plus facile de voir que la variabilité résiduelle a été réduite. $X$

Je n'arrive pas aux interactions avant une classe ou deux après avoir introduit les bases de la régression multiple. Cependant, quand j'y arrive, je reviens à ce matériel. Ce qui précède s'applique lorsqu'il n'y a pas d' interactions. Quand il y a des interactions, c'est plus compliqué. Dans ce cas, la variable d'interaction [s] est maintenue constante (très précisément) à , et à aucune autre valeur. $0$

Si vous voulez voir comment cela se déroule algébriquement, c'est plutôt simple. Nous pouvons commencer par le cas sans interaction. Déterminons le changement de lorsque toutes les autres variables sont constantes maintenus à leur moyens respectifs. Sans perte de généralité, disons qu'il ya trois des variables et nous sommes intéressés à comprendre comment le changement de est associée à un changement d' une unité de , la tenue et constante à leurs moyens respectifs: $\hat Y$ $X$ $\hat Y$ $X_3$ $X_1$ $X_2$

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3 \end{align}$

Maintenant, il est évident que nous aurions pu mettre n'importe quelle valeur pour et dans les deux premières équations, tant que nous avons mis la même valeur pour ( ) dans les deux. Autrement dit, tant que nous maintenons et constants . $X_1$ $X_2$ $X_1$ $X_2$ $X_1$ $X_2$

D'un autre côté, cela ne fonctionne pas de cette façon si vous avez une interaction. Ici, je montre le cas où il existe un terme d'interaction : $X_1X_3$

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) + {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} + \\ {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 i} + 1) - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} + {\hat{β}}_{4} {\bar{X}}_{1} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \quad\quad\ \! + \hat\beta_4\bar X_1X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) + \hat\beta_4\bar X_1(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} + \\ &\quad\ \hat\beta_4\bar X_1(X_{3i}\!+\!1) - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} + \hat\beta_4\bar X_1 X_{3i} + \hat\beta_4\bar X_1 - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3 + \hat\beta_4\bar X_1 \end{align}$

Dans ce cas, il n'est pas possible de maintenir tout le reste constant. Le terme d'interaction étant fonction de et , il n'est pas possible de modifier sans que le terme d'interaction ne change également. est égale à la variation $X_1$ $X_3$ $X_3$ $\hat\beta_3$ associé à un changementune unité àuniquement lorsquela variableinteraction () est maintenu àau lieu de(ou toute autre valeurmais), auquel cas le dernier terme de l'équation du bas disparaît. $\hat Y$ $X_3$ $X_1$ $0$ $\bar X_1$ $0$

Dans cette discussion, je me suis concentré sur les interactions, mais plus généralement, le problème est quand il y a une variable qui est fonction d'une autre telle qu'il n'est pas possible de changer la valeur de la première sans changer la valeur respective de l'autre variable . Dans de tels cas, le sens de $\hat\beta_j$ devient plus compliqué. Par exemple, si vous avez un modèle avec et , puis est le dérivé $X_j$ $X_j^2$ $\hat\beta_j$ tenant toutes les autres égales et tenant(voir ma réponseici). D'autres formulations encore plus compliquées sont également possibles. $\frac{dY}{dX_j}$ $X_j=0$

gung - Réintégrer Monica
la source

Merci gung, cette réponse est excellente à deux niveaux. Premièrement, cela répond au point principal qui m'intéressait. Deuxièmement, vous avez prédit quelle serait ma question de suivi, car j'allais demander comment cela a changé avec l'introduction des termes d'interaction. Merci aussi pour le calcul. Je sais que cette question est assez basique mais je pense que vous ne pouvez jamais être trop explicite avec ces concepts.

EconStats

Vous êtes les bienvenus, @EconStats. Il n'y a aucun problème à inclure les mathématiques, parfois cela facilite beaucoup la compréhension de ce qui se passe.

gung - Reinstate Monica

Eh bien, je dois dire que lorsque vous avez soustrait la première équation de la deuxième équation, cela a finalement confirmé mes pensées originales que peu importe les valeurs de

X_{2}

$X_2$ et

, tant sont les mêmes dans les deux équations. Cela me semble tellement évident, mais je n'avais jamais pensé à calculer le

cette façon auparavant. Moment précis de l'ampoule pour moi.

X_{3}

$X_3$

β

$\beta$

EconStats

Vous pouvez également prendre le dérivé de

wrt

et cela vous amènera au même endroit, mais c'est plus facile en mathématiques (essentiellement l'algèbre du lycée), donc il sera accessible à un public plus large.

Y

$Y$

X_{j}

$X_j$

gung - Rétablir Monica

@beetroot, si je vous comprends bien, vous le maintenez juste à un niveau spécifié. (Sinon, vous pourriez poser cette question comme une nouvelle question.)

gung - Réintégrer Monica

Je pense que vous faites référence à la dépendance dans les covariables ( ). Donc, si le modèle est l'effet de sur toutes choses égales par ailleurs serait $X_i$

Y = β_{0} + β_{1} X_{1} + β_{2} X_{2}

$Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2$

X_{i}

$X_i$

Y

$Y$

pour tout

avec tous les autres

maintenus constants à n'importe quelle valeur.

\frac{Δ Y}{Δ X_{i}}

$\frac{\Delta{Y}}{\Delta{X_i}}$

Δ X_{i}

$\Delta{X_i}$

X_{j}

$X_j$

Gardez à l'esprit qu'il est possible que et soient dépendants (par exemple fonctions l'un de l'autre) sans nécessairement montrer une interaction significative dans le modèle linéaire ( dans $X_1$ $X_2$ $\beta_{12}=0$ $Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2+\beta_{12}X_1X_2$

$X_1\sim N(0,\sigma_1^2)$ $X_2=X_1^{2}+N(0,\sigma_2^2)$ $X_1$ $X_2$

c o v (X_{1}, X_{2}) = E (X_{1} X_{2}) - E (X_{1}) E (X_{2})

$cov(X_1,X_2)=E(X_1X_2)-E(X_1)E(X_2)$

= E [X_{1} (X_{1}^{2} + a)] - E (X_{1}) . E (X_{1}^{2} - a) w i t h a \sim N (0, σ_{2}^{2})

$=E[X_1(X_1^2+a)]-E(X_1).E(X_1^2-a)\,with\,a\sim N(0,\sigma_2^2)$

= E (X_{1}^{3}) - E (X_{1} . a) - 0. E (X_{1}^{2} - a) = 0 - 0 - 0 = 0

$=E(X_1^3)-E(X_1.a)-0.E(X_1^2-a)=0-0-0=0$

$X_1$ $X_2$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_1$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_i$ $Y$

$\frac{\Delta{Y}}{\Delta{X_i}}$ ) dans une équation différentielle.

Hans Roggeman
la source

Merci Hans, j'essayais en fait d'arriver au point où le gung a fait mais c'est un bon exemple pour quand les deux variables sont dépendantes.

EconStats

Que signifie «toutes choses égales par ailleurs» dans une régression multiple?

Réponses: