Les estimations des coefficients de régression ne sont-elles pas corrélées?

Considérons une régression simple (normalité non supposée): où e i est avec la moyenne 0 et l'écart type σ . Les estimations des moindres carrés de a et b ne sont-elles pas corrélées?

$$Y_i = a + b X_i + e_i,$$ $e_i$$0$$\sigma$$a$$b$

$\hat a$$\hat b$$X_i$

---

$X_i$$(1,X_i)$$2$$X$$Y_i$$y$$\beta = (a,b)^\prime$

$$\mathbb{E}(Y) = X \cdot \beta$$

$Y_i$$\sigma^2$$\sigma \gt 0$$y$$Y$

La solution OLS est

$$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$$

en supposant que cette matrice inverse existe. Ainsi, en utilisant les propriétés de base de la multiplication matricielle et de la covariance,

$$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$$

$\left(X^\prime X\right)^{-1}$$(a,b)$$\hat a$$\hat b$$(X^\prime X)^{-1},$$X$$1$$X_i$

$\hat a$$\hat b$$X_i$

$X_i$$\hat b$$\hat a$

---

$p+1$$p$$1$$\beta$$p+1$

$X$$X$$i$$i$$i$$(X^\prime X)^{-1}$$ij$$ji$$j\ne i$

$\hat\beta_i$$\hat\beta_j$

De nombreux plans expérimentaux standard consistent à choisir les valeurs des variables indépendantes pour rendre les colonnes mutuellement orthogonales. Cela «sépare» les estimations obtenues en garantissant - avant toute collecte de données! - que les estimations ne seront pas corrélées. (Lorsque les réponses ont des distributions normales, cela implique que les estimations seront indépendantes, ce qui simplifie considérablement leur interprétation.)