Analogie de la corrélation de Pearson pour 3 variables

17

Je voudrais savoir si une "corrélation" de trois variables est quelque chose, et si quoi, qu'est-ce que ce serait?

Coefficient de corrélation du moment du produit de Pearson

E{(XμX)(YμY)}Var(X)Var(Y)

Maintenant, la question pour 3 variables: Est

E{(XμX)(YμY)(ZμZ)}Var(X)Var(Y)Var(Z)

n'importe quoi?

Dans R, cela semble être quelque chose d'interprétable:

> a <- rnorm(100); b <- rnorm(100); c <- rnorm(100)
> mean((a-mean(a)) * (b-mean(b)) * (c-mean(c))) / (sd(a) * sd(b) * sd(c))
[1] -0.3476942

Nous examinons normalement la corrélation entre 2 variables étant donné la valeur d'une troisième variable fixe. Quelqu'un pourrait-il clarifier?

PascalVKooten
la source
2
1) Dans votre formule de Pearson bivariée, si "E" (moyenne dans votre code) implique une division par n alors st. les écarts doivent également être basés sur n (pas n-1). 2) Soit les trois variables être la même variable. Dans ce cas, nous nous attendons à ce que la corrélation soit de 1 (comme dans le cas bivarié), mais hélas ...
ttnphns
Pour une distribution normale trivariée, elle est nulle, quelles que soient les corrélations.
Ray Koopman
1
Je pense vraiment que le titre gagnerait à être changé en "Analogie de la corrélation de Pearson pour 3 variables" ou similaire - cela rendrait les liens ici un peu plus informatifs
Silverfish
1
@Silverfish, je suis d'accord! J'ai mis à jour le titre, merci.
PascalVKooten

Réponses:

12

Il est en effet quelque chose. Pour le savoir, nous devons examiner ce que nous savons de la corrélation elle-même.

  1. La matrice de corrélation d'une variable aléatoire à valeur vectorielle est la matrice de variance-covariance, ou simplement "variance", de la version standardisée de . Autrement dit, chaque est remplacé par sa version recadrée et redimensionnée.X X iX=(X1,X2,,Xp)XXi

  2. La covariance de et est l'attente du produit de leurs versions centrées. Autrement dit, en écrivant et , nous avonsX j X i = X i - E [ X i ] X j = X j - E [ X j ]XiXjXi=XiE[Xi]Xj=XjE[Xj]

    Cov(Xi,Xj)=E[XiXj].
  3. La variance de , que j'écrirai , n'est pas un nombre unique. Il s'agit du tableau de valeurs Var ( X ) Var ( X ) i j = Cov ( X i , X j ) .XVar(X)

    Var(X)ij=Cov(Xi,Xj).
  4. La façon de penser la covariance de la généralisation envisagée est de la considérer comme un tenseur . Cela signifie que c'est une collection entière de quantités , indexées par et allant de à , dont les valeurs changent de manière particulièrement simple et prévisible lorsque subit une transformation linéaire. Plus précisément, soit une autre variable aléatoire de valeur vectorielle définie par i j 1 p X Y = ( Y 1 , Y 2 , , Y q )vijij1pXY=(Y1,Y2,,Yq)

    Yi=j=1paijXj.

    Les constantes ( et sont des index - n'est pas une puissance) forment un tableau , et . La linéarité de l'attente implique ijjq×pA=(aaijijjq×pj=1,,pi=1,,qA=(aij)j=1,,pi=1,,q

    Var(Y)ij=aikajlVar(X)kl.

    En notation matricielle,

    Var(Y)=AVar(X)A.
  5. Tous les composants de sont en fait des variances univariées, en raison de l' identité de polarisationVar(X)

    4Cov(Xi,Xj)=Var(Xi+Xj)Var(XiXj).

    Cela nous dit que si vous comprenez les variances des variables aléatoires univariées, vous comprenez déjà les covariances des variables bivariées: ce sont "juste" des combinaisons linéaires de variances.


L'expression dans la question est parfaitement analogue: les variables ont été normalisées comme dans . Nous pouvons comprendre ce que cela représente en considérant ce que cela signifie pour toute variable, standardisée ou non. Nous remplacerions chaque par sa version centrée, comme dans , et formerions des quantités ayant trois indices, ( 1 ) X i ( 2 )Xi(1)Xi(2)

μ3(X)ijk=E[XiXjXk].

Ce sont les moments centraux (multivariés) du degré3 . Comme dans , ils forment un tenseur: quand , alorsY = A X(4)Y=AX

μ3(Y)ijk=l,m,nailajmaknμ3(X)lmn.

Les indices dans cette gamme de somme triple sur toutes les combinaisons d'entiers de à .p1p

L'analogue de l'identité de polarisation est

24μ3(X)ijk=μ3(Xi+Xj+Xk)μ3(XiXj+Xk)μ3(Xi+XjXk)+μ3(XiXjXk).

Sur le côté droit, fait référence au troisième moment central (univarié): la valeur attendue du cube de la variable centrée. Lorsque les variables sont normalisées, ce moment est généralement appelé asymétrie . En conséquence, nous pouvons penser que est l' asymétrie multivariée de . Il s'agit d'un tenseur de rang trois (c'est-à-dire à trois indices) dont les valeurs sont des combinaisons linéaires des asymétries de différentes sommes et des différences des . Si nous cherchions des interprétations, nous penserions alors à ces composants comme mesurant en dimensions, quelle que soit l'asymétrie mesurée en une dimension. Dans de nombreux cas,μ 3 ( X ) X X i pμ3μ3(X)XXip

  • Les premiers moments mesurent l' emplacement d'une distribution;

  • Les seconds moments (la matrice variance-covariance) mesurent sa propagation ;

  • Les seconds moments normalisés (les corrélations) indiquent comment la dispersion varie dans l'espace dimensionnel; etp

  • Les troisième et quatrième moments normalisés sont pris pour mesurer la forme d'une distribution par rapport à sa propagation.

Pour élaborer sur ce que pourrait signifier une "forme" multidimensionnelle, nous avons observé que nous pouvons comprendre l'ACP comme un mécanisme pour réduire toute distribution multivariée à une version standard située à l'origine et des écarts égaux dans toutes les directions. Une fois l'ACP effectuée, fournirait les indicateurs les plus simples de la forme multidimensionnelle de la distribution. Ces idées s'appliquent aussi bien aux données qu'aux variables aléatoires, car les données peuvent toujours être analysées en fonction de leur distribution empirique.μ3


Référence

Alan Stuart et J. Keith Ord, Théorie avancée de la statistique de Kendall, cinquième édition, volume 1: théorie de la distribution ; Chapitre 3, Moments et cumulants . Oxford University Press (1987).


Annexe: Preuve de l'identité de polarisation

Soit des variables algébriques. Il existe façons d'ajouter et de soustraire toutes les d'entre elles. Lorsque nous augmentons chacune de ces sommes et différences à la puissance , choisissons un signe approprié pour chacun de ces résultats et les additionnons, nous obtiendrons un multiple de .2 n n n e x 1 x 2x nx1,,xn2nnnthx1x2xn

Plus formellement, soit l'ensemble de tous les -tuples de , de sorte que tout élément soit un vecteur dont les coefficients sont tous . La réclamation est n ± 1 s S s = ( s 1 , s 2 , , s n ) ± 1S={1,1}nn±1sSs=(s1,s2,,sn)±1

(1)2nn!x1x2xn=sSs1s2sn(s1x1+s2x2++snxn)n.

En effet, le théorème multinomial déclare que le coefficient du monôme (où les sont des entiers non négatifs sommant à ) dans l'expansion de tout terme sur la main droite côté estx1i1x2i2xninijn

(ni1,i2,,in)s1i1s2i2snin.

Dans la somme , les coefficients impliquant apparaissent par paires où une de chaque paire implique le cas , avec un coefficient proportionnel à fois , égal à , et l'autre de chaque paire implique le cas , avec un coefficient proportionnel à fois , égal à . Ils annulent la somme chaque fois que est impair. Le même argument s'applique à . Par conséquent,(1)x1i1s1=1s1s1i11s1=11(1)i1(1)i1+1i1+1i2,,inles seuls monômes qui apparaissent avec des coefficients non nuls doivent avoir des puissances impaires de tous les . xi Le seul monôme de ce type est . Il apparaît avec le coefficienten tout termes de la somme. Par conséquent, son coefficient est de, QED .x1x2xn(n1,1,,1)=n!2n2nn!

Nous devons prendre seulement la moitié de chaque paire associée à : c'est-à-dire que nous pouvons restreindre le côté droit de aux termes avec et diviser par deux le coefficient du côté gauche à. Cela donne précisément les deux versions de l'identité de polarisation citées dans cette réponse pour les cas et : et .x1(1)s1=12n1n!n=2n=32212!=42313!=24

Bien sûr, l'Identité de Polarisation pour les variables algébriques l'implique immédiatement pour les variables aléatoires: soit chaque une variable aléatoire . Prenez les attentes des deux côtés. Le résultat suit par la linéarité de l'attente.xiXi

whuber
la source
Bravo pour expliquer jusqu'ici! L'asymétrie multivariée est logique. Pourriez-vous peut-être ajouter un exemple qui montrerait l'importance de cette asymétrie multivariée? Soit comme un problème dans les modèles statistiques, soit peut-être plus intéressant, quel cas réel serait sujet à une asymétrie multivariée :)?
PascalVKooten
3

Hmmm. Si nous courons ...

a <- rnorm(100);
b <- rnorm(100);
c <- rnorm(100)
mean((a-mean(a))*(b-mean(b))*(c-mean(c)))/
  (sd(a) * sd(b) * sd(c))

cela semble centré sur 0 (je n'ai pas fait de vraie simulation), mais comme @ttnphns le fait allusion, exécuter ceci (toutes les variables sont les mêmes)

a <- rnorm(100)
mean((a-mean(a))*(a-mean(a))*(a-mean(a)))/
  (sd(a) * sd(a) * sd(a))

semble également se concentrer sur 0, ce qui me fait certainement me demander à quoi cela pourrait servir.

Peter Flom - Réintégrer Monica
la source
2
Le non-sens vient apparemment du fait que la sdvariance est fonction de la quadrature, tout comme la covariance. Mais avec 3 variables, le cubage se produit au numérateur tandis que le dénominateur reste basé sur des termes initialement au carré
ttnphns
2
Est-ce là la racine (jeu de mots voulu)? Le numérateur et le dénominateur ont les mêmes dimensions et unités, qui s'annulent, de sorte que seuls ne rendent pas la mesure mal formée.
Nick Cox
3
@ Nick C'est vrai. Il s'agit simplement d'un des troisièmes moments centraux multivariés. Il s'agit d'une composante d'un tenseur de rang trois donnant l'ensemble complet des troisièmes moments (qui est étroitement lié à la composante d'ordre 3 de la fonction de génération de cumulant multivariée). Conjointement avec les autres composants, il pourrait être d'une certaine utilité pour décrire les asymétries ("asymétrie" de dimension supérieure) dans la distribution. Ce n'est cependant pas ce que quelqu'un pourrait appeler une «corrélation»: presque par définition, une corrélation est une propriété de second ordre de la variable standardisée.
whuber
1

Si vous devez calculer la "corrélation" entre trois variables ou plus, vous ne pouvez pas utiliser Pearson, car dans ce cas, ce sera différent pour un ordre de variables différent, regardez ici . Si vous vous intéressez à la dépendance linéaire ou à la façon dont elles sont ajustées par la ligne 3D, vous pouvez utiliser PCA, obtenir la variance expliquée pour le premier PC, permuter vos données et trouver la probabilité que cette valeur soit à des raisons aléatoires. J'ai discuté de quelque chose de similaire ici (voir les détails techniques ci-dessous).

Code Matlab

% Simulate our experimental data
x=normrnd(0,1,100,1);
y=2*x.*normrnd(1,0.1,100,1);
z=(-3*x+1.5*y).*normrnd(1,2,100,1);
% perform pca
[loadings, scores,variance]=pca([x,y,z]);
% Observed Explained Variance for first principal component
OEV1=variance(1)/sum(variance)
% perform permutations
permOEV1=[];
for iPermutation=1:1000
    permX=datasample(x,numel(x),'replace',false);
    permY=datasample(y,numel(y),'replace',false);
    permZ=datasample(z,numel(z),'replace',false);
    [loadings, scores,variance]=pca([permX,permY,permZ]);
    permOEV1(end+1)=variance(1)/sum(variance);
end

% Calculate p-value
p_value=sum(permOEV1>=OEV1)/(numel(permOEV1)+1)
zlon
la source