Pourquoi la pente est-elle toujours exactement 1 lors de la régression des erreurs sur les résidus en utilisant OLS?

J'expérimentais la relation entre les erreurs et les résidus à l'aide de simulations simples dans R. Une chose que j'ai trouvée est que, quelle que soit la taille de l'échantillon ou la variance d'erreur, j'obtiens toujours exactement pour la pente lorsque vous ajustez le modèle$1$

$${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$$

Voici la simulation que je faisais:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

eet rsont fortement (mais pas parfaitement) corrélés, même pour de petits échantillons, mais je ne peux pas comprendre pourquoi cela se produit automatiquement. Une explication mathématique ou géométrique serait appréciée.

la réponse de whuber est excellente! (+1) J'ai résolu le problème en utilisant la notation qui m'est la plus familière et j'ai pensé que la dérivation (moins intéressante, plus routinière) pourrait être utile d'inclure ici.

Soit le modèle de régression, pour X ∈ R n × p et ϵ le bruit. Ensuite , la régression de y sur les colonnes de X a les équations normales X T ( de Y - X β ) = 0 , les estimations rendement β = ( X T X ) - 1 X T y $y = X \beta^* + \epsilon$$X \in \mathbb{R}^{n \times p}$$\epsilon$$y$$X$$X^T\left(y - X \hat\beta\right) = 0,$

$$\hat\beta = \left(X^T X \right)^{-1} X^T y.$$ Par conséquent , la régression a résidus pour H = X ( X T X ) - 1 X T . $$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$$ $H = X (X^T X)^{-1} X^T$

La régression de sur r donne une pente estimée donnée par ( r T r ) - 1 r T$\epsilon$$r$ puisqueI-Hest symétrique et idempotent etϵ∉im(X)presque sûrement.

$$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$$ $I-H$$\epsilon \not\in \mathrm{im}(X)$

De plus, cet argument est également valable si nous incluons une interception lorsque nous effectuons la régression des erreurs sur les résidus si une interception a été incluse dans la régression d'origine, car les covariables sont orthogonales (c.-à-d. , à partir des équations normales) .$1^T r = 0$

$x$$e$$Y=\beta x + e$$b$$\beta$$r = Y - bx$$O$

$\beta x$$e$$Y$$bx$$Y-bx$$r$

$x$$OY$$(\beta x)Y$$r$$r$$Y$$r$$Y$$e$$r$$e$$r$$r$$r$$1$

---

$r$$e=r+(\beta-b)x$$Y=e+\beta x = r + (2\beta-b)x$$x$$x$$r$$r$$1$$x$$r$