Comment dériver une matrice de coefficients de variance-covariance en régression linéaire

Je lis un livre sur la régression linéaire et j’ai du mal à comprendre la matrice de variance-covariance de :$\mathbf{b}$

Les éléments en diagonale sont assez faciles, mais les éléments en diagonale sont un peu plus difficiles. Ce qui me laisse perplexe, c'est que

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

mais il n'y a aucune trace de et ici.$\beta_0$$\beta_1$

C’est en fait une question intéressante qui remet en question votre compréhension de base d’une régression.

Commencez par éliminer toute confusion initiale concernant la notation. Nous examinons la régression:

$$y=b_0+b_1x+\hat{u}$$

où et sont les estimateurs des vrais et , et sont les résidus de la régression. Notez que la régression sous-jacente vraie et non optimisée est ainsi notée:$b_0$$b_1$$\beta_0$$\beta_1$$\hat{u}$

$$y=\beta_0+\beta_1x+u$$

Avec l'espérance de et la variance . Certains livres indiquent comme et nous adaptons cette convention ici. Nous utilisons également la notation matricielle, où b est le vecteur 2x1 qui contient les estimateurs de , à savoir . (Par souci de clarté également, je considère X comme fixé dans les calculs suivants.)$E[u]=0$$E[u^2]=\sigma^2$$b$$\hat{\beta}$$\beta=[\beta_0, \beta_1]'$$b=[b_0, b_1]'$

Passons maintenant à votre question. Votre formule pour la covariance est en effet correcte, à savoir:

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

Je pense que vous voulez savoir comment on a les vrais coefficients non observés dans cette formule? En fait, ils sont annulés si nous allons encore plus loin en élargissant la formule. Pour voir cela, notons que la variance de la population de l'estimateur est donnée par:$\beta_0, \beta_1$

$$Var(\hat\beta)=\sigma^2(X'X)^{-1}$$

Cette matrice contient les variances dans les éléments diagonaux et les covariances dans les éléments hors diagonale.

Pour arriver à la formule ci-dessus, généralisons votre revendication en utilisant la notation matricielle. Notons donc la variance avec et l'attente avec .$Var[\cdot]$$E[\cdot]$

$$Var[b]=E[b^2]-E[b]E[b']$$

Nous avons essentiellement la formule de variance générale, utilisant simplement la notation matricielle. L'équation est résolue lors de la substitution dans l'expression standard de l'estimateur . Supposons également que soit un estimateur non biaisé. On obtient donc:$b=(X'X)^{-1}X'y$$E[b]=\beta$

$$E[((X'X)^{-1}X'y)^2] - \underset{2 \times 2}{\beta^2}$$

Notez que nous avons à droite la matrice - 2x2, à savoir , mais vous pouvez déjà deviner ce qui se passera bientôt avec ce terme.$\beta^2$$bb'$

En remplaçant par notre expression correspondant au véritable processus de génération de données sous-jacent ci-dessus, nous avons:$y$

$$\begin{align*} E\Big[\Big((X'X)^{-1}X'y\Big)^2\Big] - \beta^2 &= E\Big[\Big((X'X)^{-1}X'(X\beta+u)\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\underbrace{(X'X)^{-1}X'X}_{=I}\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= \beta^2+E\Big[\Big(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \end{align*}$$

puisque . De plus, le terme quadratique s'annule comme prévu.$E[u]=0$$\beta^2$

Nous avons donc:

$$Var[b]=((X'X)^{-1}X')^2E[u^2]$$

Par linéarité des attentes. Notez que par hypothʻese et puisque est une matrice symétrique et donc la même que sa transposée. Finalement on arrive à$E[u^2]=\sigma^2$$((X'X)^{-1}X')^2=(X'X)^{-1}X'X(X'X)'^{-1}=(X'X)^{-1}$$X'X$$K\times K$

$$Var[b]=\sigma^2(X'X)^{-1}$$

Maintenant que nous nous sommes débarrassés de tous termes . Intuitivement, la variance de l'estimateur est indépendante de la valeur du véritable coefficient sous-jacent, car il ne s'agit pas d'une variable aléatoire en soi. Le résultat est valable pour tous les éléments individuels de la matrice de covariance de variance, comme indiqué dans le livre. Il est donc également valable pour les éléments non diagonaux ainsi que pour . Le seul problème était que vous aviez appliqué la formule générale pour la variance qui ne reflétait pas cette annulation au début.$\beta$$\beta_0\beta_1$

En fin de compte, la variance des coefficients est à et indépendante de . mais qu'est ce que ça veut dire? (Je crois que vous avez également demandé une compréhension plus générale de la matrice de covariance générale)$\sigma^2(X'X)^{-1}$$\beta$

Regardez la formule dans le livre. Il affirme simplement que la variance de l'estimateur augmente lorsque le vrai terme d'erreur sous-jacent est plus bruyant ( augmente), mais diminue lorsque l'écart de X augmente. Parce qu'avoir plus d'observations réparties autour de la valeur vraie, vous permet en général de construire un estimateur plus précis et donc plus proche du vrai . D'autre part, les termes de covariance sur les caractères hors diagonale deviennent pratiquement pertinents pour le test d'hypothèses sur des hypothèses conjointes telles que . À part ça, ils sont un peu fudge, vraiment. J'espère que cela clarifie toutes les questions.$\sigma^2$$\beta$$b_0=b_1=0$

Dans votre cas nous avons

$$X'X=\begin{bmatrix}n & \sum X_i\\\sum X_i & \sum X_i^2\end{bmatrix}$$

Inversez cette matrice et vous obtiendrez le résultat souhaité.

Il semble que soient les valeurs prévues (valeurs attendues). Ils font le basculement entre et . E ( b 0 ) = β 0 E ( b 1 ) = β $\beta_0 \beta_1$$E(b_0)=\beta_0$$E(b_1)=\beta_1$