Calcul des erreurs standard pour les problèmes de régression linéaire sans calculer l'inverse

Existe-t-il un moyen plus rapide de calculer les erreurs standard pour les problèmes de régression linéaire qu'en inversant ? Ici, je suppose que nous avons une régression: $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

où est matrice et est vecteur. $X$ $n\times k$ $y$ $n\times 1$

Pour trouver une solution au problème des moindres carrés, il est impossible de faire quoi que ce soit avec , vous pouvez utiliser directement les décompositions QR ou SVD sur la matrice Ou vous pouvez également utiliser des méthodes de dégradé. Mais qu'en est-il des erreurs standard? Nous n'avons vraiment besoin que de la diagonale de (et naturellement de la solution LS pour calculer l'estimation de l'erreur type de ). Existe-t-il des méthodes spécifiques pour le calcul de l'erreur standard? $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization mpiktas
la source

Réponses:

Supposons que vous ayez résolu votre problème des moindres carrés en utilisant la décomposition en valeurs singulières (SVD) de , donnée par $X$

X = U Σ V^{'},

$X = U\Sigma V',$

où et sont unitaires et est diagonal. $U$ $V$ $\Sigma$

ensuite

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

$(X'X)^{-1}$ $X$

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

(Voir une réponse que j'ai donnée à une question connexe sur Math.SE. )

$\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

$X'X$ $X$

Geoff Oxberry
la source

+1, j'ai oublié cette belle propriété SVD. Si aucune autre réponse ne vient, j'accepterai cette réponse, car elle est assez proche de celle que je voulais obtenir (et certainement des magnitudes meilleures que celles que j'attendais :))

mpiktas

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

Σ

$\Sigma$

Ignorez le dernier commentaire, il y a une erreur. J'ai cependant la bonne formule.

mpiktas