Comment interpréter une covariance inverse ou une matrice de précision?

Je me demandais si quelqu'un pourrait m'indiquer des références qui traitent de l'interprétation des éléments de la matrice de covariance inverse, également appelée matrice de concentration ou matrice de précision.

J'ai accès aux dépendances multivariées de Cox et Wermuth , mais ce que je recherche, c'est une interprétation de chaque élément de la matrice inverse. Wikipédia déclare : « Les éléments de la matrice de précision ont une interprétation en termes de corrélations partielles et écarts partiels », ce qui me conduit à cette page. Existe-t-il une interprétation sans utiliser la régression linéaire? IE, en termes de covariances ou de géométrie?

Il y a essentiellement deux choses à dire. La première est que si vous regardez la densité de la distribution normale multivariée (avec la moyenne 0 ici), elle est proportionnelle à où est l'inverse de la matrice de covariance, également appelée précision. Cette matrice est définie positive et définit via un produit intérieur sur . La géométrie résultante, qui donne un sens spécifique au concept d’orthogonalité et définit une norme liée à la distribution normale, est importante et pour comprendre, par exemple, le contenu géométrique de LDA, vous devez visualiser les choses à la lumière de la géométrie donnée. par

L'autre chose à dire est que les corrélations partielles peuvent être lues directement à partir de , voir ici . La même page Wikipedia indique que les corrélations partielles, et donc les entrées de , ont une interprétation géométrique en termes de cosinus par rapport à un angle. Ce qui est peut-être plus important dans le contexte des corrélations partielles est que la corrélation partielle entre et est 0 si et seulement si l'entrée dans est égale à zéro. Pour la distribution normale, les variables et sont alors conditionnellement indépendantes$P$$P$$X_i$$X_j$$i,j$$P$$X_i$$X_j$compte tenu de toutes les autres variables. C’est ce que dit le livre de Steffens, auquel j’ai fait référence dans le commentaire ci-dessus. Indépendance conditionnelle et modèles graphiques. La distribution normale est traitée de manière assez complète, mais ce n’est peut-être pas si facile à suivre.

J'aime que ce modèle graphique probabiliste illustre le point de NRH selon lequel la corrélation partielle est nulle si et seulement si X est conditionnellement indépendant de Y étant donné Z, l'hypothèse étant que toutes les variables impliquées sont gaussiennes multivariées (la propriété n'est pas valable dans le cas général) :

(les sont des variables aléatoires gaussiennes; ignorer T et k)$y_i$

Source: conférence de David MacKay sur les principes fondamentaux du processus gaussien , 25e minute.

L'interprétation basée sur les corrélations partielles est probablement la plus utile sur le plan statistique, car elle s'applique à toutes les distributions multivariées. Dans le cas particulier de la distribution normale multivariée, la corrélation partielle nulle correspond à l'indépendance conditionnelle.

Vous pouvez dériver cette interprétation en utilisant le complément de Schur pour obtenir une formule pour les entrées de la matrice de concentration en termes d'entrées de la matrice de covariance. Voir http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics

La matrice de covariance peut représenter la relation entre toutes les variables, tandis que la covariance inverse, correspond à la relation de l'élément avec ses voisins (comme le dit wikipedia, la relation partielle / paire).

J'emprunte l'exemple suivant d' ici à 24:10, imaginez 5 masses sont reliées entre elles et vocalisation autour de 6 sources, la matrice de covariance contiendrait corrélation de toutes les masses, si l' on va bien, d' autres peuvent aussi va bien. mais la matrice de covariance inverse correspond à la relation des masses reliées par le même ressort (voisins) et contient beaucoup de zéros et n'est pas nécessairement positive.

Bar-Shalom et Fortmann (1988) mentionnent la covariance inverse dans le contexte du filtrage de Kalman comme suit:

... il y a une récurrence pour la covariance inverse (ou matrice d'information )

$\mathbf{P}^{-1}(k+1|k+1) = \mathbf{P}^{-1}(k+1|k) + \mathbf{H}'(k+1) \mathbf{R}^{-1}(k+1)\mathbf{H}(k+1)$

... En effet, un ensemble complet d'équations de prédiction et de mise à jour, appelé filtre d'information [8, 29, 142], peut être développé pour la covariance inverse et un vecteur d'état transformé .$\mathbf{P}^{-1}\hat{\mathbf{x}}$

Le livre est indexé chez Google .