Quelle est l'interprétation de la covariance des coefficients de régression?

La fonction lm dans R peut imprimer la covariance estimée des coefficients de régression. Que nous fournissent ces informations? Pouvons-nous maintenant mieux interpréter le modèle ou diagnostiquer les problèmes qui pourraient être présents dans le modèle?

r multiple-regression least-squares mss
la source

La même interprétation que toutes les autres covariances --- covariation linéaire? L'utilisation principale est de calculer la variance des contrastes d'intérêt sélectionnés, par exemple pour tester les contrastes.

kjetil b halvorsen

Réponses:

L'utilisation la plus fondamentale de la matrice de covariance est d'obtenir les erreurs-types des estimations de régression. Si le chercheur ne s'intéresse qu'aux erreurs-types des paramètres de régression individuels eux-mêmes, il peut simplement prendre la racine carrée de la diagonale pour obtenir les erreurs-types individuelles.

Cependant, il arrive souvent que vous soyez intéressé par une combinaison linéaire de paramètres de régression. Par exemple, si vous avez une variable indicatrice pour un groupe donné, vous pourriez être intéressé par la moyenne du groupe, qui serait

$\beta_0 + \beta_{\rm grp}$ .

Ensuite, pour trouver l'erreur standard pour la moyenne estimée de ce groupe, vous auriez

$\sqrt{X^\top S X}$ ,

où est un vecteur de vos contrastes et est la matrice de covariance. Dans notre cas, si nous n'avons que la covariable d'addition "grp", alors ( pour l'ordonnée à l'origine, pour appartenir au groupe). $X$ $S$ $X = (1,1)$ $1$ $1$

De plus, la matrice de covariance (ou plus, la matrice de corrélation, qui est identifiée de manière unique à partir de la matrice de covariance mais pas l'inverse) peut être très utile pour certains diagnostics de modèle. Si deux variables sont fortement corrélées, une façon de penser est que le modèle a du mal à déterminer quelle variable est responsable d'un effet (car elles sont si étroitement liées). Cela peut être utile pour toute une variété de cas, tels que le choix de sous-ensembles de covariables à utiliser dans un modèle prédictif; si deux variables sont fortement corrélées, vous souhaiterez peut-être utiliser uniquement l'une des deux dans votre modèle prédictif.

Cliff AB
la source

Merci pour l'explication. Dans votre dernier paragraphe, vous décrivez les problèmes qui peuvent survenir lorsque les variables indépendantes sont fortement colinéaires. Il semble qu'il serait plus facile de regarder la covariance / corrélation des réels que des . il y a un inverse dans la formule.

X

$X$

β

$\beta$

V a r (\hat{β}) = E ({\hat{ε}}^{2}) {(X^{'} X)}^{- 1}

$Var(\hat\beta)=E(\hat\varepsilon^2)\left(X^\prime X\right)^{-1}$

mss

Il existe deux "types" de coefficients de régression:

"Vrai" coefficients de régression (généralement notés ) qui décrivent le processus de génération de données sous-jacent des données. Ce sont des nombres fixes, ou «paramètres». Un exemple serait la vitesse de la lumière , qui (nous supposons) est toujours la même partout dans l'univers accessible. $\beta$ $c$
Coefficients de régression estimés (généralement notés ou ) calculés à partir d'échantillons de données. Les échantillons sont des collections de variables aléatoires, donc les coefficients de régression estimés sont également des variables aléatoires. Un exemple serait une estimation de obtenue dans une expérience. $b$ $\hat \beta$ $c$

Réfléchissez maintenant à ce que signifie la covariance. Prenez deux variables aléatoires et . Siest élevé, chaque fois que vous dessinez une grande valeur absolue de vous pouvez également vous attendre à dessiner une grande valeur absolue de dans la même direction. Notez que «élevé» ici est relatif à la quantité de variation de et , comme indiqué dans les commentaires. $X$ $Y$ $\left| \mathrm{Cov}\left(X,Y\right) \right|$ $X$ $Y$ $X$ $Y$

La covariance (estimée) de deux coefficients de régression est la covariance des estimations , . Si la covariance entre les coefficients estimés et est élevée, dans tout échantillon où est élevé, vous pouvez également vous attendre à ce que soit élevé. Dans un sens plus bayésien, contient des informations sur . $b$ $b_1$ $b_2$ $b_1$ $b_2$ $b_1$ $b_2$

Notez à nouveau que "élevé" est relatif. Ici, " est élevé" signifie que " est élevé par rapport à son erreur standard", et leur covariance étant "élevée" signifie "élevée par rapport au produit de leurs erreurs standard". Une façon de lisser ces hoquets d'interprétation consiste à normaliser chaque entrée de régression en la divisant par son écart-type (ou deux écarts-types dans certains cas). $b_1$ $b_1$

Un utilisateur de ce site a décrit comme "un peu fudge", mais je ne suis pas entièrement d'accord. D'une part, vous pourriez utiliser cette interprétation pour trouver des priors informatifs dans la régression bayésienne. $\mathrm{Cov}\left(b_1,b_2\right)$

Quant à ce que cela est réellement utilisé, la réponse de Cliff AB est un bon résumé.

shadowtalker
la source

C'est bien, mais je suis un peu gêné par l'interprétation de la covariance comme s'il s'agissait d'une corrélation. Je sais que vous connaissez la différence, mais cela n'apparaît pas clairement. Je suis également heureux que vous ayez contesté le commentaire "un peu trompeur", car il s'agissait d'une évaluation trompeuse (dans une réponse par ailleurs fine). En effet, la covariance de et pour donne des informations fondamentales et utiles sur la façon dont ces estimations sont interdépendantes, comme l'indique @Cliff AB.

b_{i}

$b_i$

b_{j}

$b_j$

i \neq j

$i\ne j$

whuber

@whuber merci, et j'ai écrit "corrélation" à un moment donné. Je vais le nettoyer quand je

descends de

Étant donné que je ne reviendrai peut-être pas sur ce sujet pendant un certain temps, +1 à l'avance pour les modifications!

whuber

fait la même erreur dans ma description!

Cliff AB

@whuber maintenant, je suis en train de deviner ma propre compréhension de la covariance. Est-ce que mon problème est simplement que je n'ai pas insisté sur le fait que les échelles pourraient être différentes, ou est-ce que je manque autre chose? Je suis tombé sur votre explication de "boîtes" et je ne vois pas ce que cela pourrait être

shadowtalker