Autre manière de dériver les coefficients OLS

Dans une autre de mes questions , un répondeur a utilisé la dérivation suivante du coefficient OLS:

Nous avons un modèle: où Z n'est pas observé. Ensuite, nous avons:

$$Y = X_1 \beta + X_2 \beta_2 + Z \gamma + \varepsilon,$$ $Z$oùX ∗ 1 =M2X1etM2=[I-X2(X ′ 2 X2)-1X ′ 2 ]. $$\text{plim}\, \hat \beta_{1} = \beta_1 + \gamma \frac{Cov(X_1^*, Z)}{Var(X_1^*)} = \beta_1,$$ $X_1^* = M_2 X_1$$M_2 = [I - X_2(X_2'X_2)^{-1}X_2']$

Cela semble différent de l'habituel que j'ai vu en économétrie. Existe-t-il une explication plus explicite de cette dérivation? Y a-t-il un nom pour la matrice M 2 ?$\beta = (X'X)^{-1}X'Y$$M_2$

Le matrice est la matrice "annulateur" ou "machine résiduelle" associé à la matrice X . Il est appelé "annihilateur" car M X = 0 (pour sa propre matrice X bien sûr). Est -ce que l' on appelle "faiseur résiduel" parce que M y = e , dans la régression y = X β + e . $\mathbf M = \mathbf I-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$$\mathbf X$$\mathbf M\mathbf X =0$$X$$\mathbf M \mathbf y =\mathbf {\hat e}$$\mathbf y = \mathbf X \beta + \mathbf e$

C'est une matrice symétrique et idempotente. Il est utilisé dans la démonstration du théorème de Gauss-Markov.

En outre, il est utilisé dans le théorème de Frisch – Waugh – Lovell , à partir duquel on peut obtenir des résultats pour la "régression partitionnée", qui dit que dans le modèle (sous forme matricielle)

$$\mathbf y = \mathbf X_1\beta_1 + \mathbf X_2\beta_2 + \mathbf u$$

nous avons ça

$$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2)\mathbf y$$

Puisque est idempotent, nous pouvons réécrire ce qui précède en$\mathbf M_2$

$$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2\mathbf M_2)\mathbf y$$

et puisque est également symétrique, nous avons$M_2$

$$\hat \beta_1 = ([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf X_1])^{-1}([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf y]$$

Mais c'est l'estimateur des moindres carrés du modèle

$$[\mathbf M_2\mathbf y] = [\mathbf M_2\mathbf X_1]\beta_1 + \mathbf M_2\mathbf u$$

et aussi sont les résidus de régression y uniquement sur la matrice X 2 . $\mathbf M_2\mathbf y$$\mathbf y$$\mathbf X_2$

En d' autres termes: 1) Si on régresse sur la matrice X 2 uniquement, puis régressent les résidus de cette estimation sur la matrice M 2 X 1 uniquement, les β 1 estimations que nous obtiendrons sera mathématiquement égale aux estimations que nous sera obtenu si nous régressons y sur X 1 et X 2 ensemble en même temps, comme une régression multiple habituelle. $\mathbf y$$\mathbf X_2$$\mathbf M_2\mathbf X_1$$\hat \beta_1$$\mathbf y$$\mathbf X_1$$\mathbf X_2$

Maintenant, supposons que n'est pas une matrice mais juste un régresseur, disons $\mathbf X_1$ . Alors M 2 x 1 est le résidu de régression de la variable X 1 sur la matrice de régresseur X 2 . Et cela donne l'intuition ici: β 1 nous donne l'effet que « la partie de X 1 qui est expliquée par X 2 » a sur « la partie de Y qui reste inexpliquée par X 2 ».$\mathbf x_1$$\mathbf M_2 \mathbf x_1$$X_1$$\mathbf X_2$$\hat \beta_1$$X_1$$\mathbf X_2$$Y$$\mathbf X_2$

C'est une partie emblématique de l'algèbre classique des moindres carrés.