Comment les résidus sont-ils liés aux perturbations sous-jacentes?

Dans la méthode des moindres carrés, nous voulons estimer les paramètres inconnus dans le modèle:

Une fois que nous avons fait cela (pour certaines valeurs observées), nous obtenons la droite de régression ajustée:

Maintenant, évidemment, nous voulons vérifier certaines parcelles pour nous assurer que les hypothèses sont remplies. Supposons que vous vouliez vérifier l'homoscédasticité, cependant, pour ce faire, nous vérifions en fait les résidus . Supposons que vous examiniez le tracé des valeurs résiduelles et des valeurs prédites, si cela nous montre qu'une hétéroscédasticité est apparente, alors comment cela est-il lié au terme de perturbation ? L'hétéroscédasticité dans les résidus implique-t-elle une hétéroscédasticité en termes de perturbation? $e_j$$\varepsilon_j$

La façon la plus simple d'y penser est que vos résidus bruts ( ) sont des estimations des perturbations correspondantes ( ). Cependant, il existe certaines complexités supplémentaires. Par exemple, bien que nous supposions dans le modèle OLS standard que les erreurs / perturbations sont indépendantes, les résidus ne peuvent pas tous l'être. En général, seuls les résidus peuvent être indépendants, car vous avez utilisé degrés de liberté pour estimer le modèle moyen et les résidus sont contraints de résumer à$e_j = y_j-\hat y_j$$\hat\varepsilon_j = e_j$$N-p-1$$p-1$$0$. De plus, l'écart type des résidus bruts n'est pas réellement constant. En général, la droite de régression est ajustée de telle sorte qu'elle sera plus proche en moyenne des points avec un effet de levier plus important. Par conséquent, l'écart-type des résidus pour ces points est inférieur à celui des points à faible effet de levier. (Pour en savoir plus, il peut être utile de lire les réponses de mai ici: Interpréter plot.lm () , et / ou ici: Comment effectuer une analyse résiduelle pour des prédicteurs indépendants binaires / dichotomiques en régression linéaire? )

La relation entre et est:$\hat{\varepsilon}$$\varepsilon$

où , la matrice de chapeau, est .$H$$X(X^TX)^{-1}X^T$

Ce qui revient à dire que est une combinaison linéaire de toutes les erreurs, mais généralement la majeure partie du poids tombe sur la ème.$\hat{\varepsilon}_i$$i$

Voici un exemple, en utilisant l' carsensemble de données dans R. Considérez le point marqué en violet:

Appelons cela le point . Le résidu, , où le pour les autres erreurs est de l'ordre de -0,02:$i$$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$$w_j$

Nous pouvons réécrire cela comme:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

ou plus généralement

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

où est le - ième élément diagonal de . De même, les ci-dessus sont .$h_{ii}$$i$$H$$w_j$$h_{ij}$

Si les erreurs sont iid alors dans cet exemple, la somme pondérée de ces autres erreurs aura un écart-type correspondant à environ 1 / 7ème de l'effet de l'erreur de la ème observation sur son résiduel .$N(0,\sigma^2)$$i$

C'est-à-dire que dans les régressions bien comportées, les résidus peuvent généralement être traités comme une estimation modérément bruyante du terme d'erreur non observable. Lorsque nous considérons des points plus éloignés du centre, les choses fonctionnent un peu moins bien (le résidu devient moins pondéré sur l'erreur et les pondérations sur les autres erreurs deviennent moins égales).

Avec de nombreux paramètres, ou avec des pas si bien distribués, les résidus peuvent être beaucoup moins semblables aux erreurs. Vous voudrez peut-être essayer quelques exemples.$X$