Mesures de similitude ou de distance entre deux matrices de covariance

28

Existe-t-il des mesures de similitude ou de distance entre deux matrices de covariance symétrique (toutes deux ayant les mêmes dimensions)?

Je pense ici aux analogues de la divergence KL de deux distributions de probabilités ou de la distance euclidienne entre vecteurs sauf appliquée aux matrices. J'imagine qu'il y aurait pas mal de mesures de similitude.

Idéalement, je voudrais également tester l'hypothèse nulle selon laquelle deux matrices de covariance sont identiques.

Ram Ahluwalia
la source
3
les réponses à cette question: quant.stackexchange.com/q/121/108 peuvent être utiles.
shabbychef
2
excellente question et réponse sur le lien - merci - oui c'est là que j'allais :)
Ram Ahluwalia

Réponses:

21

Vous pouvez utiliser n'importe laquelle des normes (voir Wikipedia sur une variété de normes; notez que la racine carrée de la somme des distances au carré, \ sqrt {\ sum_ {i, j} (a_ {ij} -b_ {ij}) ^ 2} , est appelée norme de Frobenius, et diffère de la norme L_2 , qui est la racine carrée de la plus grande valeur propre de (AB) ^ 2 , bien que, bien sûr, elles généreraient la même topologie). La distance KL entre les deux distributions normales avec les mêmes moyennes (disons zéro) et les deux matrices de covariance spécifiques est également disponible dans Wikipedia sous la forme \ frac12 [\ mbox {tr} (A ^ {- 1} B) - \ mbox {ln } (| B | / | A |)] .ABpi,j(aijbij)2L2(AB)212[tr(A1B)ln(|B|/|A|)]

Edit: si l'une des matrices est une matrice impliquée par le modèle et l'autre est la matrice de covariance échantillon, alors bien sûr, vous pouvez former un test de rapport de vraisemblance entre les deux. Ma collection préférée personnelle de tels tests pour des structures simples est donnée dans Rencher (2002) Methods of Multivariate Analysis . Les cas plus avancés sont couverts par la modélisation de la structure de covariance, sur laquelle un point de départ raisonnable est Bollen (1989) Structural Equations with Latent Variables .

StasK
la source
j'ai un problème avec : il ne donne pas la même valeur si vous permutez et (une distance réelle doit être symétrique). 1/2(tr(A1B)log(|B|/|A|))AB
user603
j'ai un problème avec : ce n'est pas équivariant affine (si on fait tourner les matrices, il y a des changements de distance!). De plus, vous devez en quelque sorte mettre à l'échelle vos matrices (elles peuvent être mesurées dans des unités très différentes), aussi, il est naturel d'exiger que la distance entre deux matrices de covariance soit la même que la distance entre les matrices de corrélation correspondantes: je suggère donc . (AB)2(Adet(A)1/pBdet(B)1/p)2
user603
2
Tout d'abord, KL n'est pas une vraie distance, et c'est un fait bien connu. Deuxièmement, si les matrices sont mesurées dans différentes unités, elles ne peuvent pas être égales.
StasK
La distance KL est-elle similaire au rapport de vraisemblance ou est-elle liée?
hashmuke
7

Désignons et vos matrices deux de dimension .Σ1Σ2p

  1. Numéro de cond: où ( ) est la plus grande (la plus petite) valeur propre de , où est défini comme: log(λ1)log(λp)λ1λpΣΣΣ:=Σ11/2Σ2Σ11/2

Edit: J'ai édité la deuxième des deux propositions. Je pense que j'avais mal compris la question. La proposition basée sur les nombres de conditions est beaucoup utilisée dans les statistiques robustes pour évaluer la qualité de l'ajustement. Une ancienne source que j'ai pu trouver est:

Yohai, VJ et Maronna, RA (1990). Le biais maximal des covariances robustes. Communications in Statistics – Theory and Methods, 19, 3925–2933.

J'avais initialement inclus la mesure du ratio Det:

  1. Rapport det: où .log(det(Σ)/det(Σ2)det(Σ1))Σ=(Σ1+Σ2)/2

qui serait la distance de Bhattacharyya entre deux distributions gaussiennes ayant le même vecteur de localisation. J'ai dû lire à l'origine la question comme se rapportant à un contexte où les deux covariances provenaient d'échantillons de populations supposées avoir des moyennes égales.

user603
la source
4

La distance de la matrice de covariance est utilisée pour suivre les objets en vision par ordinateur.

La métrique actuellement utilisée est décrite dans l'article: "Une métrique pour les matrices de covariance" , par Förstner et Moonen.

Andres Romero
la source