Est le résiduel, e, un estimateur de l'erreur,

Cette question a été soulevée dans un autre fil que j'ai commencé, alors j'ai pensé que j'obtiendrais les opinions de plus de gens à ce sujet. Ma question est

Est le résiduel, e, un estimateur de l'erreur, $\epsilon$?

La raison que je demande est la suivante. Dans OLS, la variance des résidus,$\frac{\text{RSS}}{(n - K )}$, est connue comme la variance de la régression (où RSS est la somme résiduelle des carrés). De même, la racine carrée de cette variance,$\sqrt\frac{\text{RSS}}{(n - K )}$, est l'erreur type de la régression. Étant donné que la racine carrée de la variance,$\frac{\text{RSS}}{(n - K )}$, est une erreur standard, cela doit signifier que cette variance est la variance d'un estimateur. On sait déjà que c'est la variance des résidus, donc le résidu est un estimateur ?? (Je suppose que$\epsilon$)

Pensées??

Certes, les résidus sont une sorte d'estimateurs de$\epsilon$(pour être clair, la définition du résidu est l'estimateur, le résidu observé est une estimation). Si le modèle est correct, alors ils peuvent parfois être une assez bonne estimation.

En effet

$e = y - \hat y = X\beta + \epsilon - X(X'X)^{-1} X'(X\beta + \epsilon) = (I - H)\epsilon$,

où $H = X(X'X)^{-1} X'$ est la matrice du chapeau (parce qu'elle «met le chapeau» $y$) - aussi parfois appelée matrice de projection.

http://en.wikipedia.org/wiki/Hat_matrix

C'est le $e$sont chacun une combinaison linéaire du $\epsilon$'s; si$1-h_{ii}$ est relativement grand par rapport à $\sum_{j\neq i}h_{ij}$ (si $H$ est «petit» par rapport à I), alors la majeure partie du poids est sur le $i^\textrm{th}$ erreur (ce n'est souvent pas le cas, cependant).

Notez que $e_i/\sqrt{1-h_{ii}}$ aura la même attente et variance que $\epsilon_i$et si les éléments de $H$ sont petites , de la manière qui vient d'être décrite, seront fortement corrélées avec elle - en fait, si j'ai bien fait mon algèbre, la corrélation entre$e_i$ et $\epsilon_i$ est en fait: $\text{corr}(e_i,\epsilon_i) = \sqrt{1-h_{ii}}$.