Pourquoi RSS est-il distribué chi carré times np?

Je voudrais comprendre pourquoi, sous le modèle OLS, le RSS (somme résiduelle des carrés) est distribué

$$\chi^2\cdot (n-p)$$ ( $p$ étant le nombre de paramètres dans le modèle, le nombre d'observations).$n$

Je m'excuse d'avoir posé une question aussi fondamentale, mais il semble que je ne puisse pas trouver la réponse en ligne (ou dans mes manuels, plus orientés vers les applications).

Je considère le modèle linéaire suivant: .${y} = X \beta + \epsilon$

Le vecteur des résidus est estimé par

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$$

où .$Q = I - X (X'X)^{-1} X'$

Observez que (la trace est invariante sous permutation cyclique) et que Q ′ = Q = Q 2 . Les valeurs propres de Q sont donc 0 et 1 (quelques détails ci-dessous). Il existe donc une matrice unitaire V telle que (les matrices sont diagonalisables par des matrices unitaires si et seulement si elles sont normales.$\textrm{tr}(Q) = n - p$$Q'=Q=Q^2$$Q$$0$$1$$V$ )

$$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$$

Maintenant, nous allons ε .$K = V' \hat{\epsilon}$

Etant donné ε ~ N ( 0 , σ 2 Q ) , on a K ~ N ( 0 , σ 2 Δ ) et donc K n - p + 1 = ... = K n = 0 . Ainsi$\hat{\epsilon} \sim N(0, \sigma^2 Q)$$K \sim N(0, \sigma^2 \Delta)$$K_{n-p+1}=\ldots=K_n=0$

$$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$$

avec .$K^{\star} = (K_1, \ldots, K_{n-p})'$

De plus, comme est une matrice unitaire, nous avons également$V$

$$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$$

Ainsi

$$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$$

Enfin, notez que ce résultat implique que

$$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$$

---

Puisque , le polynôme minimal de Q divise le polynôme z 2 - z . Ainsi, les valeurs propres de Q sont comprises entre 0 et 1 . Puisque tr ( Q ) = n - p est également la somme des valeurs propres multipliées par leur multiplicité, nous avons nécessairement que 1 est une valeur propre avec la multiplicité n - p et zéro est une valeur propre avec la multiplicité p .$Q^2 - Q =0$$Q$$z^2 - z$$Q$$0$$1$$\textrm{tr}(Q) = n-p$$1$$n-p$$p$

IMHO, the matricial notation $Y=X\beta+\epsilon$ complicates things. Pure vector space language is cleaner. The model can be written $\boxed{Y=\mu + \sigma G}$ where $G$ has the standard normal distributon on $\mathbb{R}^n$ and $\mu$ is assumed to belong to a vector subspace $W \subset \mathbb{R}^n$.

Now the language of elementary geometry comes into play. The least-squares estimator $\hat\mu$ of $\mu$ is nothing but $P_WY$: the orthogonal projection of the observable $Y$ on the space $W$ to which $\mu$ is assumed to belong. The vector of residuals is $P^\perp_WY$: projection on the orthogonal complement $W^\perp$ of $W$ in $\mathbb{R^n}$. The dimension of $W^\perp$ is $\dim(W^\perp)=n-\dim(W)$.

Finally,

$$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$$ and $P^\perp_WG$ has the standard normal distribution on $W^\perp$, hence its squared norm has the $\chi^2$ distribution with $\dim(W^\perp)$ degrees of freedom.

This demonstration uses only one theorem, actually a definition-theorem:

Definition and theorem. A random vector in $\mathbb{R}^n$ has the standard normal distribution on a vector space $U \subset \mathbb{R}^n$ if it takes its values in $U$ and its coordinates in one ($\iff$ in all) orthonormal basis of $U$ are independent one-dimensional standard normal distributions

(from this definition-theorem, Cochran's theorem is so obvious that it is not worth to state it)

Once we've established that $\hat\epsilon=(I-H)\epsilon$, we can apply the following lemma:

---

Lemma: If $A_{n\times n}$ is a symmetric and idempotent real matrix, then there exists a matrix $U$ with orthonormal columns such that $A=UU^T$. The matrix $U$ is $n\times r$, where $r$ equals the rank of $A$.

Proof: The spectral theorem for symmetric matrices asserts $A=UDU^T$ where $D_{n\times n}$ is a diagonal matrix of the eigenvalues $\lambda_1,\ldots,\lambda_n$ of $A$ and $U_{n\times n}$ is an orthogonal matrix whose columns are the corresponding eigenvectors $u_1,\ldots,u_n$. Since $A$ is idempotent, each eigenvalue is either zero or one (reason: $Au=\lambda u$ implies $\lambda u =Au=A(Au)=A\lambda u=\lambda^2u$). Delete from $U$ the columns corresponding to zero eigenvalue, leaving an $n\times r$ matrix; the diagonal matrix $D$ becomes the identity. To determine $r$, note that the columns remaining in $U$ each satisfy $Au_i=u_i$, hence they form a basis for the range of $A$; so $\operatorname {rank}(A)=r$.

---

Applying the lemma, write $I-H=UU^T$ where $U_{n\times r}$ has orthonormal columns and $r=\operatorname{rank}(I-H)$. Then $\hat\epsilon:=(I-H)\epsilon=U(U^T\epsilon)$. Observe that $N:=U^T\epsilon$ is an $r$-dimensional random vector having multivariate normal distribution with mean zero and covariance matrix

$$\operatorname{Var}(N)=E(U^T\epsilon)(U^T\epsilon)^T=U^TE(\epsilon\epsilon^T)U=\sigma^2 (U^TU)=\sigma^2I_{r\times r}$$ and that $$\operatorname{RSS}:=\hat\epsilon^T\hat\epsilon=(UN)^T(UN)=N^T(U^TU)N=N^TN.$$ Conclude $\operatorname{RSS}/\sigma^2$ is the sum of squares of $r$ IID standard normal variables and therefore has chi-square($r$) distribution.

To finish, we find $r=n-\operatorname{rank}(X)$: Consider for $v\in{\mathbb R}^n$ the decomposition $v=Hv + (I-H)v$. Idempotency of $H$ implies $(Hv)^T(I-H)v'=0$ for all $v,v'$, whence ${\mathbb R}^n$ is the direct sum of the subspaces $\operatorname{range}(H)$ and $\operatorname{range}(I-H)$, and so

$$n=\operatorname{dim}\operatorname{range}(H) + \operatorname{dim}\operatorname{range}(I-H) =\operatorname{rank}(H) + \operatorname{rank}(I-H) = \operatorname{rank}(X)+r.$$