Comment dériver l'estimateur des moindres carrés pour la régression linéaire multiple?

Dans le cas de régression linéaire simple , vous pouvez dériver l'estimateur des moindres carrés sorte que vous n'avez pas besoin de connaître pour estimer$y=\beta_0+\beta_1x$$\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$$\hat\beta_0$$\hat\beta_1$

Supposons que j'ai , comment puis-je dériver sans estimer ? ou n'est-ce pas possible?$y=\beta_1x_1+\beta_2x_2$$\hat\beta_1$$\hat\beta_2$

La dérivation en notation matricielle

À partir de , qui est vraiment le même que$y= Xb +\epsilon$

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

tout se résume à minimiser :$e'e$

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

Donc, minimiser nous donne:$e'e'$

$min_{b}$ $e'e = (y-Xb)'(y-Xb)$

$min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

Une dernière chose mathématique, la condition de second ordre pour un minimum requiert que la matrice soit définie positive. Cette exigence est remplie dans le cas où a un rang complet.$X'X$$X$

La dérivation plus précise qui passe par toutes les étapes dans un plus grand département peut être trouvée sous http://economictheoryblog.com/2015/02/19/ols_estimator/

Il est possible d'estimer un seul coefficient dans une régression multiple sans estimer les autres.

L'estimation de est obtenue en supprimant les effets de des autres variables puis en régressant les résidus de contre les résidus de . Ceci est expliqué et illustré Comment contrôle-t-on exactement les autres variables? et Comment normaliser (a) le coefficient de régression? . La beauté de cette approche est qu'elle ne nécessite aucun calcul, aucune algèbre linéaire, peut être visualisée en utilisant uniquement une géométrie bidimensionnelle, est numériquement stable et exploite une seule idée fondamentale de la régression multiple: celle de supprimer (ou de "contrôler pour" ) les effets d'une seule variable.x 2 y x $\beta_1$$x_2$$y$$x_1$

---

Dans le cas présent, la régression multiple peut être effectuée en utilisant trois étapes de régression ordinaires:

1. Régression sur (sans terme constant!). Soit l'ajustement . L'estimation est Par conséquent, les résidus sont Géométriquement, est ce qui reste de après sa soustraction sur .x 2 y = α y , 2 x 2 + δ α y , 2 = ∑ i y i x 2 $y$$x_2$$y = \alpha_{y,2}x_2 + \delta$δ=y-αy,2x2. δyx

   $$\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$$ $$\delta = y - \alpha_{y,2}x_2.$$ $\delta$$y$$x_2$

2. Régression sur (sans terme constant). Soit l'ajustement . L'estimation estLes résidus sontGéométriquement, est ce qui reste de après sa soustraction sur .x 2 x 1 = α 1 , 2 x 2 + γ α 1 , 2 = ∑ i x 1 i x 2 $x_1$$x_2$$x_1 = \alpha_{1,2}x_2 + \gamma$γ=x1-α1,2x2

   $$\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$$ $$\gamma = x_1 - \alpha_{1,2}x_2.$$ $\gamma$$x_1$$x_2$

3. Régression on (sans terme constant). L'estimation estL'ajustement sera . Géométriquement, est la composante de (qui représente avec retiré) dans la direction (qui représente avec retiré).$\delta$$\gamma$

   $$\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$$ $\delta = \hat\beta_1 \gamma + \varepsilon$$\hat\beta_1$$\delta$$y$$x_2$$\gamma$$x_1$$x_2$

Notez que n'a pas été estimé. $\beta_2$ Il peut facilement être récupéré à partir de ce qui a été obtenu jusqu'à présent (tout comme dans le cas de régression ordinaire est facilement obtenu à partir de l'estimation de pente ). Les sont les résidus de la régression bivariée de sur et .$\hat\beta_0$$\hat\beta_1$$\varepsilon$$y$$x_1$$x_2$

Le parallèle avec la régression ordinaire est fort: les étapes (1) et (2) sont des analogues de soustraction des moyennes dans la formule habituelle. Si vous laissez être un vecteur de uns, vous retrouverez en fait la formule habituelle.$x_2$

Cela se généralise de façon évidente pour régresser avec plus de deux variables: pour estimer , régresser et séparément par rapport à toutes les autres variables, puis régresser leurs résidus les uns par rapport aux autres. À ce stade, aucun des autres coefficients de la régression multiple de n'a encore été estimé.$\hat\beta_1$$y$$x_1$$y$

L'estimation des moindres carrés ordinaires de est une fonction linéaire de la variable de réponse$\beta$ . En termes simples, l'estimation OLS des coefficients, les , peut être écrite en utilisant uniquement la variable dépendante ( ) et les variables indépendantes ( ).$\beta$$Y_i$$X_{ki}$

Pour expliquer ce fait pour un modèle de régression général, vous devez comprendre une petite algèbre linéaire. Supposons que vous estimer les coefficients dans un modèle de régression multiple,$(\beta_0, \beta_1, ...,\beta_k)$

$$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$$

où pour . La matrice de conception est une matrice où chaque colonne contient les observations de la variable dépendante . Vous pouvez trouver de nombreuses explications et dérivations ici de la formule utilisée pour calculer les coefficients estimés , qui est$\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$$i=1,...,n$$\mathbf{X}$$n\times k$$n$$k^{th}$$X_k$$\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$

$$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$$

en supposant que l'inverse existe. Les coefficients estimés sont des fonctions des données et non des autres coefficients estimés.$(\mathbf{X}^\prime \mathbf{X})^{-1}$

Une petite note mineure sur la théorie vs la pratique. Mathématiquement peut être estimé avec la formule suivante:$\beta_0, \beta_1, \beta_2 ... \beta_n$

$$\hat{\beta} = (X'X)^{-1} X'Y$$

où est les données d'entrée d'origine et est la variable que nous voulons estimer. Cela découle de la minimisation de l'erreur. Je vais le prouver avant de faire un petit point pratique.$X$$Y$

Soit l'erreur que fait la régression linéaire au point . Ensuite:$e_i$$i$

$$e_i = y_i - \hat{y_i}$$

L'erreur quadratique totale que nous commettons est maintenant:

$$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$$

Parce que nous avons un modèle linéaire, nous savons que:

$$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$$

Qui peut être réécrit en notation matricielle comme:

$$\hat{Y} = X\beta$$

Nous savons que

$$\sum_{i=1}^n e_i^2 = E'E$$

Nous voulons minimiser l'erreur carrée totale, de sorte que l'expression suivante soit aussi petite que possible

$$E'E = (Y-\hat{Y})' (Y-\hat{Y})$$

Cela équivaut à:

$$E'E = (Y-X\beta)' (Y-X\beta)$$

La réécriture peut sembler déroutante mais elle découle de l'algèbre linéaire. Notez que les matrices se comportent de façon similaire aux variables lorsque nous les multiplions à certains égards.

Nous voulons trouver les valeurs de telles que cette expression soit aussi petite que possible. Nous devrons différencier et définir la dérivée égale à zéro. Nous utilisons ici la règle de la chaîne.$\beta$

$$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$$

Cela donne:

$$X'X\beta = X'Y$$

Tels que finalement:

$$\beta = (X'X)^{-1} X'Y$$

Donc, mathématiquement, nous semblons avoir trouvé une solution. Il y a un problème cependant, c'est que est très difficile à calculer si la matrice est très très grande. Cela pourrait entraîner des problèmes de précision numérique. Une autre façon de trouver les valeurs optimales pour dans cette situation est d'utiliser une méthode de type descente en gradient. La fonction que nous voulons optimiser est illimitée et convexe donc nous utiliserions également une méthode de gradient en pratique si besoin est. $(X'X)^{-1}$$X$$\beta$

Une dérivation simple peut être faite simplement en utilisant l'interprétation géométrique de LR.

La régression linéaire peut être interprétée comme la projection de sur l'espace de colonne . Ainsi, l'erreur, est orthogonale à l'espace des colonnes de . $Y$$X$$\hat{\epsilon}$$X$

Par conséquent, le produit interne entre et l'erreur doit être 0, c'est-à-dire $X'$

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

Ce qui implique que,

$(X'X)^{-1}X'y = \hat{\beta}$ .

Maintenant, la même chose peut être faite par:

(1) Projection de sur (erreur ), ,$Y$$X_2$$\delta = Y-X_2 \hat{D}$$\hat{D} = (X_2'X_2)^{-1}X_2'y$

(2) Projection de sur (erreur ), ,$X_1$$X_2$$\gamma = X_1 - X_2 \hat{G}$$\hat{G} = (X_1'X_1)^{-1}X_1X_2$

et enfin,

(3) Projection de sur ,$\delta$$\gamma$$\hat{\beta}_1$