Quel est ce compromis biais-variance pour les coefficients de régression et comment le dériver?

Dans cet article , ( Inférence bayésienne pour les composants de la variance utilisant uniquement des contrastes d'erreur , Harville, 1974), l'auteur affirme pour être "bien connu" relation ", pour une régression linéaire où y = X

$$(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$$ ϵ ∼ N ( 0 , H ) $$y=X\beta+\epsilon,$$ $$\epsilon\sim\mathcal{N}(0, H).$$

Comment est-ce bien connu? Quelle est la manière la plus simple de le prouver?

Le dernier terme de l'équation peut s'écrire

$$(X\beta - X\hat{\beta})'H^{-1}(X\beta - X\hat{\beta}).$$

Sous cette forme, l'équation dit quelque chose d'intéressant. En supposant que est défini positif et symétrique, il en va de même pour son inverse. Par conséquent, nous pouvons définir un produit intérieur , nous donnant la géométrie. Alors l'égalité ci-dessus dit essentiellement que, < x , y > H - 1 = x ' H - 1 y ( X β - X β ) ⊥ ( y - X β ) $H$$<x, y>_{H^{-1}} = x'H^{-1}y$

$$(X\beta - X\hat{\beta}) \perp (y - X\hat{\beta}).$$

Je voulais vous donner ce peu d'intuition puisqu'un commentateur a déjà laissé un lien vers la dérivation.

Edit: Pour la postérité

LHS:

$$\begin{eqnarray} (y-X \beta)'H^{-1}(y-X \beta) &=& y'H^{-1}y &-& 2y'H^{-1}X \beta &+& \beta'X'H^{-1}X\beta \\ &=& (A) &-& (B) &+& (C) \end{eqnarray}$$

RHS:

$$(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$$ $$\begin{eqnarray} &=& y'H^{-1}y &- 2y'H^{-1}X\hat{\beta} &+ \hat{\beta}'X'H^{-1}X\hat{\beta} &+ \beta X'H^{-1}X\beta &- 2\hat{\beta}X'H^{-1}X\beta &+ \hat{\beta}'X'H^{-1}X\hat{\beta} \\ &=& (A) &- (D) &+ (E) &+ (C) &- (F) &+ (E) \end{eqnarray}$$

Relation:

$$\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$$

En branchant la relation, vous pouvez montrer que (B) = (F) et que 2 (E) = (D). Terminé.

Ils arrivent à cette identité par une technique appelée achever le carré. Le côté gauche est sous une forme quadratique, alors commencez par le multiplier

$$(y-X\beta)'H^{-1}(y-X\beta)= y'H^{-1}y - 2y'H^{-1}X\beta + \beta'X'H^{-1} X\beta$$

continuer et réécrire en termes de . L'algèbre est assez longue mais googlante complétant le carré dans la régression bayésienne et vous pouvez trouver beaucoup d'indices. Par exemple, voir le wikipedia sur la régression linéaire bayésienne , et d'autres réponses CrossValided concernant l'achèvement du carré, comme ici . $\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

Si vous connaissez votre algèbre matricielle, cela devrait être possible en multipliant tout et en vérifiant que vous avez bien la même chose des deux côtés. C'est ce que jlimahaverford a démontré.

$\hat{\beta}$

$$\mathbf{X}\sim \mathcal{N}(\mu,\Sigma).$$ $\Sigma$$\Sigma = PP^T$ $$\mathbf{Y}=P^{-1}(\mathbf{X}-\mu)$$ $\mathcal{N}(0,I)$$\hat{\beta}$$H=PP^T$ $$\begin{align} y&=X\beta+\epsilon\\ P^{-1}y &= P^{-1}X\beta + P^{-1}\epsilon \end{align}$$ $\epsilon$$\text{cov}(P^{-1}\epsilon)=I$ $$\tilde{X}=P^{-1}X,\qquad \tilde{y}=P^{-1}y\quad\text{and}\quad \tilde{\epsilon}=P^{-1}\epsilon.$$ $$\tilde{y}=\tilde{X}\beta+\tilde{\epsilon}$$ $\hat{\beta}$ $$\begin{align} \hat{\beta} &= (\tilde{X}^T\tilde{X})^{-1}\tilde{X}^T\tilde{y}\\ &=((P^{-1}X)^TP^{-1}X)^{-1}(P^{-1}X)^TP^{-1}y\\ &=(X^T(PP^T)^{-1}X)^{-1}X(PP^T)^{-1}y\\ &=(X^TH^{-1}X)^{-1}XH^{-1}y \end{align}$$