Contexte

Supposons que nous ayons un modèle des moindres carrés ordinaires où nous avons coefficients dans notre modèle de régression, $k$

$$\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon}$$

où est un vecteur de coefficients, est la matrice de conception définie par$\mathbf{\beta}$$(k\times1)$$\mathbf{X}$

$$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots & & \ddots & & \vdots \\ 1 & x_{n1} & \dots & \dots & x_{n\;(k-1)} \end{pmatrix}$$ et les erreurs sont IID normal, $$\mathbf{\epsilon} \sim \mathcal{N}\left(\mathbf{0},\sigma^2 \mathbf{I}\right) \;.$$

Nous minimisons la somme des erreurs au carré en définissant nos estimations pour à $\mathbf{\beta}$

$$\mathbf{\hat{\beta}}= (\mathbf{X^T X})^{-1}\mathbf{X}^T \mathbf{y}\;.$$

Un estimateur non biaisé de est où \ mathbf {\ chapeau {y}} \ equiv \ mathbf {X} \ mathbf {\ chapeau {\ beta}} ( réf ).$\sigma^2$

$$s^2 = \frac{\left\Vert \mathbf{y}-\mathbf{\hat{y}}\right\Vert ^2}{n-p}$$ $\mathbf{\hat{y}} \equiv \mathbf{X} \mathbf{\hat{\beta}}$

La covariance de $\mathbf{\hat{\beta}}$ est donnée par

$$\operatorname{Cov}\left(\mathbf{\hat{\beta}}\right) = \sigma^2 \mathbf{C}$$ où $\mathbf{C}\equiv(\mathbf{X}^T\mathbf{X})^{-1}$ ( réf ).

Question

Comment puis-je prouver que pour $\hat\beta_i$ ,

$$\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$$ où $t_{n-k}$ est un distribution t avec $(n-k)$ degrés de liberté, et l'erreur standard de $\hat{\beta}_i$ est estimée par $s_{\hat{\beta}_i} = s\sqrt{c_{ii}}$ .

---

Mes tentatives

Je sais que pour variables aléatoires échantillonnées à partir de , vous pouvez montrer que en réécrivant le LHS comme et en réalisant que le numérateur est une distribution normale standard, et que le dénominateur est la racine carrée d'une distribution du chi carré avec df = (n-1) et divisé par (n- 1) ( réf ). Et donc il suit une t-distribution avec df = (n-1) ( ref ).$n$$x\sim\mathcal{N}\left(\mu, \sigma^2\right)$

$$\frac{\bar{x}-\mu}{s/\sqrt{n}} \sim t_{n-1}$$ $$\frac{ \left(\frac{\bar x - \mu}{\sigma/\sqrt{n}}\right) } {\sqrt{s^2/\sigma^2}}$$

Je n'ai pas pu étendre cette preuve à ma question ...

Des idées? Je suis au courant de cette question , mais ils ne le prouvent pas explicitement, ils donnent juste une règle empirique, en disant "chaque prédicteur vous coûte un degré de liberté".

Depuis nous savons que et ainsi nous savons que pour chaque composant de , où est l' élément diagonal de . Ainsi, nous savons que

$$\begin{align*} \hat\beta &= (X^TX)^{-1}X^TY \\ &= (X^TX)^{-1}X^T(X\beta + \varepsilon) \\ &= \beta + (X^TX)^{-1}X^T\varepsilon \end{align*}$$ $$\hat\beta-\beta \sim \mathcal{N}(0,\sigma^2 (X^TX)^{-1})$$ $k$$\hat\beta$ $$\hat\beta_k -\beta_k \sim \mathcal{N}(0, \sigma^2 S_{kk})$$ $S_{kk}$$k^\text{th}$$(X^TX)^{-1}$ $$z_k = \frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}} \sim \mathcal{N}(0,1).$$

Prenez note de l'énoncé du théorème pour la distribution d'une forme quadratique idempotente dans un vecteur normal standard (théorème B.8 de Greene):

Si et est symétrique et idempotent, alors est distribué où est le rang de .$x\sim\mathcal{N}(0,I)$$A$$x^TAx$$\chi^2_{\nu}$$\nu$$A$

Soit le vecteur résiduel de régression et soit qui est la matrice maker résiduelle (ie ) . Il est facile de vérifier que est symétrique et idempotent .$\hat\varepsilon$

$$M=I_n - X(X^TX)^{-1}X^T \text{,}$$ $My=\hat\varepsilon$$M$

Soit un estimateur pour .

$$s^2 = \frac{\hat\varepsilon^T \hat\varepsilon}{n-p}$$ $\sigma^2$

Nous devons ensuite faire de l'algèbre linéaire. Notez ces trois propriétés d'algèbre linéaire:

• Le rang d'une matrice idempotente est sa trace.
• $\operatorname{Tr}(A_1+A_2) = \operatorname{Tr}(A_1) + \operatorname{Tr}(A_2)$
• $\operatorname{Tr}(A_1A_2) = \operatorname{Tr}(A_2A_1)$ si est et est ( cette propriété est essentielle pour que ce qui suit fonctionne )$A_1$$n_1 \times n_2$$A_2$$n_2 \times n_1$

Donc

$$\begin{align*} \operatorname{rank}(M) = \operatorname{Tr}(M) &= \operatorname{Tr}(I_n - X(X^TX)^{-1}X^T) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( X(X^TX)^{-1}X^T) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( (X^TX)^{-1}X^TX) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}(I_p) \\ &=n-p \end{align*}$$

Puis

$$\begin{align*} V = \frac{(n-p)s^2}{\sigma^2} = \frac{\hat\varepsilon^T\hat\varepsilon}{\sigma^2} = \left(\frac{\varepsilon}{\sigma}\right)^T M \left(\frac{\varepsilon}{\sigma}\right). \end{align*}$$

En appliquant le théorème pour la distribution d'une forme quadratique idempotente dans un vecteur normal standard (indiqué ci-dessus), nous savons que .$V \sim \chi^2_{n-p}$

Puisque vous supposez que est normalement distribué, alors est indépendant de , et puisque est une fonction de , alors est également indépendant de . Ainsi, et sont indépendants l'un de l'autre.$\varepsilon$$\hat\beta$$\hat\varepsilon$$s^2$$\hat\varepsilon$$s^2$$\hat\beta$$z_k$$V$

Ensuite, est le rapport d'une distribution normale standard avec la racine carrée d'une distribution chi carré avec les mêmes degrés de liberté (ie ), qui est une caractérisation de la distribution . Par conséquent, la statistique a une distribution avec degrés de liberté.

$$\begin{align*} t_k = \frac{z_k}{\sqrt{V/(n-p)}} \end{align*}$$ $n-p$$t$$t_k$$t$$n-p$

Il peut ensuite être manipulé algébriquement sous une forme plus familière.

$$\begin{align*} t_k &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}}}{\sqrt{\frac{(n-p)s^2}{\sigma^2}/(n-p)}} \\ &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{S_{kk}}}}{\sqrt{s^2}} = \frac{\hat\beta_k -\beta_k}{\sqrt{s^2 S_{kk}}} \\ &= \frac{\hat\beta_k -\beta_k}{\operatorname{se}\left(\hat\beta_k \right)} \end{align*}$$