Distribution de l'erreur de somme des carrés pour la régression linéaire?

Je sais que la distribution de la variance de l'échantillon C'est du fait que peut être exprimée sous forme de matrice, (où A: symétrique), et elle pourrait être à nouveau exprimée en: (où Q: orthonormé, D: matrice diagonale).

$$\sum\frac{(X_i-\bar{X})^2}{\sigma^2}\sim \chi^2_{(n-1)}$$ $$\sum\frac{(X_i-\bar{X})^2}{n-1}\sim \frac{\sigma^2}{n-1}\chi^2_{(n-1)}$$ $(X-\bar{X})^2$$xAx'$$x'QDQ'x$

Qu'en est-il de , étant donné l'hypothèse ? $\sum(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2$$(Y - \beta_0 - \beta_1X)\sim \mathcal{N}(0, \sigma^2)$

Je figure

$$\sum\frac{(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2}{\sigma^2}\sim \chi^2_{(n-2)}.$$

Mais je ne sais pas comment le prouver ou le montrer.

Est-il distribué exactement comme ?$\chi^2_{(n-2)}$

Nous pouvons le prouver pour le cas plus général des variables en utilisant la "matrice chapeau" et certaines de ses propriétés utiles. Ces résultats sont généralement beaucoup plus difficiles à énoncer en termes non matriciels en raison de l'utilisation de la décomposition spectrale.$p$

Maintenant dans la version matricielle des moindres carrés, la matrice chapeau est où a lignes et colonnes (colonne de celles pour ). Supposons que le classement complet des colonnes soit pratique - sinon, vous pouvez remplacer par le classement des colonnes de dans la suite. Nous pouvons écrire les valeurs ajustées comme ou en notation matricielle . En utilisant cela, nous pouvons écrire la somme des carrés comme:$H=X(X^TX)^{-1}X^T$$X$$n$$p+1$$\beta_0$$p+1$$X$$\hat{Y}_i=\sum_{j=1}^nH_{ij}Y_j$$\hat{Y}=HY$

$$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{(Y-\hat{Y})^T(Y-\hat{Y})}{\sigma^2}=\frac{(Y-HY)^T(Y-HY)}{\sigma^2}$$ $$=\frac{Y^T(I_n-H)Y}{\sigma^2}$$

Où est une matrice d'identité d'ordre . La dernière étape découle du fait que est une matrice idépotente, car$I_n$$n$$H$

$$H^2=[X(X^TX)^{-1}X^T][X(X^TX)^{-1}X^T]=X(X^TX)^{-1}X^T=H=HH^T=H^TH$$

Maintenant, une propriété intéressante des matrices idépotentes est que toutes leurs valeurs propres doivent être égales à zéro ou à un. Soit un vecteur propre normalisé de de valeur propre , nous pouvons le prouver comme suit:$e$$H$$l$

$$He=le\implies H(He)=H(le)$$ $$LHS=H^2e=He=le\;\;\; RHS=lHe=l^2e$$ $$\implies le=l^2e\implies l=0\text{ or }1$$

(notez que ne peut pas être nul car il doit satisfaire ) Maintenant parce que est idépotent, est aussi, car$e$$e^Te=1$$H$$I_n-H$

$$(I_n-H)(I_n-H)=I-IH-HI+H^2=I_n-H$$

Nous avons également la propriété que la somme des valeurs propres est égale à la trace de la matrice, et

$$tr(I_n-H)=tr(I_n)-tr(H)=n-tr(X(X^TX)^{-1}X^T)=n-tr((X^TX)^{-1}X^TX)$$ $$=n-tr(I_{p+1})=n-p-1$$

Par conséquent doit avoir valeurs propres égaux à et valeurs propres égal à .$I-H$$n-p-1$$1$$p+1$$0$

Maintenant nous pouvons utiliser la décomposition spectrale de où et est orthogonal (car est symétrique). Une autre propriété qui est utile est que . Cela permet de réduire la matrice$I-H=ADA^T$$D=\begin{pmatrix}I_{n-p-1} & 0_{[n-p-1]\times[p+1]}\\0_{[p+1]\times [n-p-1]} & 0_{[p+1]\times [p+1]}\end{pmatrix}$$A$$I-H$$HX=X$$A$

$$HX=X\implies(I-H)X=0\implies ADA^TX=0\implies DA^TX=0$$ $$\implies (A^TX)_{ij}=0\;\;\;i=1,\dots,n-p-1\;\;\; j=1,\dots,p+1$$

et nous obtenons:

$$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{Y^TADA^TY}{\sigma^2}=\frac{\sum_{i=1}^{n-p-1}(A^TY)_i^2}{\sigma^2}$$

Maintenant, sous le modèle, nous avons et en utilisant la théorie normale standard, nous avons montrant que les composants de sont indépendants. En utilisant maintenant le résultat utile, nous avons cela pour . La distribution du chi carré avec degrés de liberté pour la somme des erreurs quadratiques suit immédiatement.$Y\sim N(X\beta,\sigma^2I)$$A^TY\sim N(A^TX\beta,\sigma^2A^TA)\sim N(A^TX\beta,\sigma^2I)$$A^TY$$(A^TY)_i\sim N(0,\sigma^2)$$i=1,\dots,n-p-1$$n-p-1$