Pourquoi les résidus dans la régression linéaire totalisent-ils toujours zéro lorsqu'une intersection est incluse?

Je prends un cours sur les modèles de régression et l'une des propriétés fournies pour la régression linéaire est que les résidus résument toujours à zéro lorsqu'une interception est incluse.

Quelqu'un peut-il expliquer pourquoi c'est le cas?

Cela découle directement des équations normales, c'est-à-dire des équations que l'estimateur OLS résout,

$$\mathbf{X}^{\prime} \underbrace{\left( \mathbf{y} - \mathbf{X} \mathbf{b} \right)}_{\mathbf{e}} = 0$$

Le vecteur à l'intérieur des parenthèses est bien sûr le vecteur résiduel ou la projection de sur le complément orthogonal de l'espace de colonne de X , si vous aimez l'algèbre linéaire. Maintenant, l'inclusion d'un vecteur de uns dans la matrice X , qui ne doit d'ailleurs pas être dans la première colonne comme cela se fait classiquement, conduit à$\mathbf{y}$$X$$\mathbf{X}$

$$\mathbf{1}^{\prime} \mathbf{e} = 0 \implies \sum_{i=1}^n e_i = 0$$

Dans le problème à deux variables, cela est encore plus simple à voir, car la minimisation de la somme des résidus au carré nous amène à

$$\sum_{i=1}^n \left(y_i - a - b x_i \right) = 0$$

lorsque nous prenons la dérivée par rapport à l'ordonnée à l'origine. De là, nous procédons à l'obtention de l'estimateur familier

$$a = \bar{y} - b \bar{x}$$

où l'on voit encore que la construction de nos estimateurs impose cette condition.

Dans le cas où vous recherchez une explication plutôt intuitive.

Dans un certain sens, le modèle de régression linéaire n'est rien d'autre qu'une moyenne fantaisiste. Pour trouver la moyenne arithmétique $\bar{x}$ sur certaines valeurs $x_1, x_2, \dots, x_n$ , nous trouvons une valeur qui est une mesure de centralité en ce sens que la somme de tous les écarts (où chaque écart est défini comme $u_i = x_i - \bar{x}$) à droite de la valeur moyenne sont égales à la somme de tous les écarts à gauche de cette moyenne. Il n'y a aucune raison inhérente pour laquelle cette mesure est bonne, encore moins la meilleure façon de décrire la moyenne d'un échantillon, mais elle est certainement intuitive et pratique. Le point important est que, en définissant ainsi la moyenne arithmétique, il s'ensuit nécessairement qu'une fois que nous avons construit la moyenne arithmétique, tous les écarts par rapport à cette moyenne doivent s'additionner à zéro par définition!

En régression linéaire, ce n'est pas différent. Nous ajustons la ligne de telle sorte que la somme de toutes les différences entre nos valeurs ajustées (qui sont sur la ligne de régression) et les valeurs réelles qui sont au - dessus de la ligne soit exactement égale à la somme de toutes les différences entre la ligne de régression et toutes les valeurs en dessous de la ligne. Encore une fois, il n'y a aucune raison inhérente, pourquoi c'est la meilleure façon de construire un ajustement, mais c'est simple et intuitivement attrayant. Tout comme avec la moyenne arithmétique: en construisant nos valeurs ajustées de cette manière, il s'ensuit nécessairement, par construction, que tous les écarts par rapport à cette ligne doivent s'additionner à zéro, sinon ce ne serait pas une régression OLS.

Lorsque l'ordonnée à l' origine est incluse dans la régression linéaire

$$\hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p}$$ Dans la régression des moindres carrés, la somme des carrés des les erreurs sont minimisées. $$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2$$ Prendre la dérivée partielle de SSE par rapport à$\beta_0$et le mettre à zéro. $$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) =-2\displaystyle\sum\limits_{i=1}^ne_i=0$$ Par conséquent, les résidus résument toujours à zéro lorsqu'une ordonnée à l'origine est incluse dans la régression linéaire.

$1$$X$

$$1 = Xe,$$ $e$$1^T(y - \hat{y})$

Donc,

$$\begin{align} & 1^T(y - \hat{y}) = 1^T(I - H)y \\ = & e^TX^T(I - X(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^TX(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^T)y \\ = & 0. \end{align}$$

Une dérivation simple utilisant l'algèbre matricielle:

$\sum e$$1^Te$

alors

$1^Te = 1^T(M_x y)$$M_x$$M_x$$(M_x1)^Ty$

$M_x$$1$$x$$1$

1. $e_i = y_i - [1, X] [a, b] = y_i - Xb - a = v_i - a$
2. $\frac{d}{da} \sum e_i^2 \propto \sum e_i\cdot 1 = \sum v_i - a = 0$$\hat{a} = \frac{1}{n}\sum v_i$
3. $\sum e_i = \sum_i v_i - a = \sum_i v_i - \frac{n}{n}\sum_i v_i = 0$

..