Si A et B sont corrélés à C, pourquoi A et B ne sont-ils pas nécessairement corrélés?

62

Je sais empiriquement que c'est le cas. Je viens de développer des modèles qui se heurtent à cette énigme. Je soupçonne également que ce n'est pas nécessairement une réponse oui / non. Je veux dire par là que si A et B sont tous deux corrélés avec C, cela peut avoir une implication concernant la corrélation entre A et B. Mais, cette implication peut être faible. Ce n'est peut-être qu'un signe et rien d'autre.

Voici ce que je veux dire ... Disons que A et B ont tous les deux une corrélation de 0,5 avec C. Cela étant, la corrélation entre A et B pourrait bien être de 1,0. Je pense que cela pourrait aussi être 0,5 ou même inférieur. Mais, je pense qu'il est peu probable que ce soit négatif. Êtes-vous d'accord avec cela?

En outre, y a-t-il une implication si vous envisagez le coefficient de corrélation de Pearson standard ou le coefficient de corrélation de Spearman (rang)? Mes observations empiriques récentes ont été associées au coefficient de corrélation de Spearman.

Sympa
la source
38
Un exemple consiste à prendre , , et . On peut prendre et d'être indépendants, mais les deux et sont mis en corrélation (positive, Pearson) avec . B = Y C = X + Y X Y A B CA=XB=YC=X+YXYABC
1
Merci, c'est en fait un excellent commentaire. Bref, mais il capture l'essence de la raison pour laquelle il en est ainsi.
Sympa

Réponses:

53

La corrélation étant une propriété mathématique des distributions multivariées, certaines informations peuvent être obtenues uniquement par le biais de calculs, quelle que soit la genèse statistique de ces distributions.

Pour les corrélations de Pearson , tenez compte des variables multinormal , , . Celles-ci sont utiles car toute matrice définie non négative est en réalité la matrice de covariance de certaines distributions multinormales, ce qui résout la question de l'existence. Si nous nous en tenons aux matrices avec sur la diagonale, les entrées hors diagonale de la matrice de covariance seront leurs corrélations. Ecrire la corrélation de et sous la forme , la corrélation de et sous la forme et la corrélation de et commeY Z 1 X Y ρ Y Z τ X Z σXYZ1XYρYZτXZσ , nous calculons que

  • 1+2ρστ(ρ2+σ2+τ2)0 (car c'est le déterminant de la matrice de corrélation et il ne peut pas être négatif).

  • Lorsque cela signifie que . En d'autres termes: lorsque et ont tous deux une grande magnitude, et doivent avoir une corrélation non nulle.ρ 2 + τ 21 ρ τ X Zσ=0ρ2+τ21ρτXZ

  • Si , toute valeur non-négative de (entre et bien sûr) est possible.σ 0 1ρ2=τ2=1/2σ01

  • Lorsque , les valeurs négatives de sont autorisées. Par exemple, lorsque , peut être compris entre et .σ ρ = τ = 1 / 2 σ - 1 / 2 1ρ2+τ2<1σρ=τ=1/2σ1/21

Ces considérations impliquent qu'il existe en effet des contraintes sur les corrélations mutuelles. Les contraintes (qui ne dépendent que du caractère définitif non négatif de la matrice de corrélation, et non des distributions réelles des variables) peuvent être resserrées en fonction d'hypothèses relatives aux distributions univariées. Par exemple, il est facile de voir (et de prouver) que lorsque les distributions de et ne font pas partie de la même famille d'emplacement-échelle, leurs corrélations doivent être strictement inférieures à . (Preuve: une corrélation de implique que et sont liés linéairement comme)Y 1 ± 1 X YXY1±1XY

En ce qui concerne les corrélations de rangs de Spearman , considérons trois observations triviales , et de . Leurs corrélations mutuelles sont , et . Ainsi , même le signe de la corrélation de rang de et peut être l'inverse des signes des corrélations de et et et .( 2 , 3 , 1 ) ( 3 , 2 , 3 ) ( X , Y , Z ) 1 / 2 1 / 2 - 1 / 2 Y Z X Y X Z(1,1,2)(2,3,1)(3,2,3)(X,Y,Z)1/21/21/2YZXYXZ

whuber
la source
whuber, quelles sont les "variables multinormales"?
Sympa
Comme d'habitude, l'explication la plus complète vous donne la coche "Meilleure réponse" bien méritée.
Sympa
@ Lion Gaetan Vous êtes très gentil. J'ai aimé lire toutes les réponses à cette question (et les noter toutes).
whuber
88

Je suis en voyage de pêche annuel en ce moment. Il existe une corrélation entre l'heure de la journée où je pêche et la quantité de poisson que je pêche. Il existe également une corrélation entre la taille de l'appât que j'utilise et la quantité de poisson que je capture. Il n'y a pas de corrélation entre la taille de l'appât et l'heure du jour.

Basilic
la source
Basilic, j'adore ça! +1 pour une explication en anglais simple.
Sympa
Meilleur. Répondre. Sur stats.stackexchange. Ever
Chris Beeley
1
Ceci décrit un cas où les corrélations sont faibles au début, mais n'explique pas le cas où les corrélations sont plus élevées. S'il existe une corrélation de 80% avec l'heure et de 80% avec la taille de l'appât, je peux vous garantir que vous utilisez un appât plus puissant pendant la journée!
user35581
2
@ user35581 non vous ne pouvez pas - vous manquez le point entier. Chaque heure, il pouvait pêcher une fois avec un petit appât et une fois avec un grand appât. Il peut toujours attraper plus de poissons pendant certaines parties de la journée (corrélation de 80%) et attraper plus de poissons avec un appât plus gros (corrélation de 80%). Il existe une corrélation nulle entre la taille de l'appât qu'il utilise et l'heure de la journée. Cela pourrait même être une corrélation négative s'il utilisait des appâts plus gros plus souvent pendant les heures creuses de la journée afin de compenser la mauvaise période de la journée. Donc, vous ne savez vraiment rien sur la corrélation entre l'heure du jour et la taille de l'appât.
Rysqui
2
@rysqui désolé, mon commentaire était mal formulé, mais ce que j'essayais de dire était le suivant: lorsque les corrélations entre les entités et la cible deviennent très élevées, vos entités doivent également être corrélées. Donc, si vous avez une corrélation parfaite entre l'heure du jour et la taille de la capture, et une corrélation parfaite entre la taille de l'appât et la taille de la capture, vous devez également avoir une corrélation parfaite entre la taille de l'appât et l'heure de la journée, d'où la déclaration finale "vous utilisez des appâts plus gros pendant la journée". Gardez à l'esprit qu'il s'agit d'un cas extrême!
user35581
20

La corrélation est le cosinus de l'angle entre deux vecteurs. Dans la situation décrite, (A, B, C) est un triple d'observations, effectuées n fois, chaque observation étant un nombre réel. La corrélation entre A et B est le cosinus de l'angle entre et , mesuré dans un espace euclidien à n dimensions. Donc, notre situation se réduit à considérer 3 vecteurs , et dans un espace n dimensionnel. Nous avons 3 paires de vecteurs et donc 3 angles. Si deux des angles sont petits (forte corrélation), le troisième sera également petit. Mais dire "corrélé" n’est pas une restriction: cela signifie que l’angle est compris entre 0 etVA=AE(A)VB=BE(B)VAVBVCπ/2. En général, cela ne donne aucune restriction sur le troisième angle. En d'autres , commencez par un angle inférieur à entre et (toute corrélation sauf -1). Laissez l'angle entre et . Alors C sera corrélé avec A et B.πVAVBVCVAVB

David Epstein
la source
La corrélation +1 en termes d'angle entre vecteurs multidimensionnels est intuitive pour moi.
Petrus Theron
2
Pour la référence des futurs lecteurs, je développe cette réponse géométrique (avec des images!) Dans le fil suivant: talkstats.com/showthread.php/…
Jake Westfall
18

En complément de la réponse de whuber: la formule présentée

1+2ρστ(ρ2+σ2+τ2)0 .

peuvent être transformés en inégalités suivantes (Olkin, 1981):

στ(1σ2)(1τ2)ρστ+(1σ2)(1τ2)

Une représentation graphique des limites supérieure et inférieure de ressemble à :ρ

entrez la description de l'image ici


Olkin, I. (1981). Restrictions de plage pour les matrices de corrélation produit-moment. Psychometrika, 46, 469-472. doi: 10.1007 / BF02293804

Felix S
la source
Quelqu'un peut-il me dire si certains de ces exemples sont des distributions multivariées ayant des distributions marginales spécifiques qui limitent la plage de corrélations possibles entre les composants? Cela signifie que les corrélations ne peuvent pas couvrir toute la gamme allant de -1 à 1. Je me souviens que Frechet était au moins une personne qui avait développé cela dans les années 1950. En cherchant dans la littérature d'aujourd'hui, je pense qu'ils s'appellent maintenant des copules de Frechet.
Michael Chernick
14

Je pense qu'il est préférable de demander "pourquoi DEVRAIENT-ils être corrélés?" ou peut-être "Pourquoi devrait avoir une corrélation particulière?"

Le code R suivant montre un cas où x1 et x2 sont tous deux corrélés avec Y, mais ont une corrélation 0 l'un avec l'autre

x1 <- rnorm(100)
x2  <- rnorm(100)
y <- 3*x1 + 2*x2 + rnorm(100, 0, .3)

cor(x1,y)
cor(x2,y)
cor(x1,x2)

La corrélation avec Y peut être renforcée en réduisant le .3 à .1 ou peu importe.

Peter Flom - Rétablir Monica
la source
Malheureusement, je ne suis pas un utilisateur R. Ainsi, les codes ci-dessus signifient moins pour moi que pour vous.
Sympa
2
@Gaetan Lion: dans ce code, et sont des normales normales, et plus un terme de bruit normal avec un écart-type de 0,3. Il est clair que est corrélé positivement à et , qui sont indépendants. x 2 y = 3 x 1 + 2 x 2 y x 1 x 2x1x2y=3x1+2x2yx1x2
Shabbychef
14

Je laisserai la démonstration statistique à ceux qui lui conviennent mieux ... mais disons intuitivement que l'événement A génère un processus X qui contribue à la génération de l'événement C. Ensuite, A est corrélé à C (via X). B, en revanche, génère Y, qui façonne également C. Par conséquent, A est corrélé à C, B est corrélé à C mais A et B ne sont pas corrélés.

Nico
la source
1
@Agréable. Je pense que vous voulez dire "A et B ne sont pas corrélés" dans la toute dernière partie de votre dernière phrase.
suncoolsu
Oui, Nico avec correction suncoolsu ... ceci est une bonne explication. Vous décrivez partiellement l'analyse de chemin.
Sympa
Oui, désolé, je me suis mêlé aux lettres;)
nico
1

Pour ceux qui veulent de l'intuition, une corrélation peut être vue comme un cosinus d'un certain angle. Donc, considérons trois vecteurs en 3D, disons A, B et C, chacun correspondant à une variable. La question est de déterminer la gamme d'angles possibles entre A et C lorsque l'angle entre A et B ainsi que l'angle entre B et C sont connus. Pour cela, vous pouvez jouer avec un outil en ligne sans installer de logiciel. Il suffit d'aller à la page http://www.montefiore.ulg.ac.be/~pierard/chained_correlations.php

S. Piérard
la source
0

Prenons un exemple:

A={x1,x2,x3,x4,x5,x6,x7,x8,x9}

B={x1,x2,x3,0,0,0,0,0,0}

C={0,0,0,x4,x5,x6,0,0,0}

Pour certains x, A et B auront une corrélation significative. De même, A et C auront également une corrélation significative, mais la corrélation de B et C ne sera pas significative.

Donc, ce n'est pas nécessairement vrai que si A et B sont corrélés et que A et C sont corrélés, alors B et C le sont également.

Remarque: Pour une compréhension approfondie, pensez à cet exemple sur des données volumineuses.

Abhishek Anand
la source
BCx1x6ABCx1x9
Je suis à l'aise avec Abhishek Anand et sa réponse, car en fin de compte, tout est en corrélation avec tout le reste dans une certaine mesure. Et j'aime la façon dont il le compare en termes de signification statistique. Une fois que vous utilisez ce cadre, il est assez évident que si A et B ont une corrélation statistiquement significative avec C, il n’est pas forcément possible de corréler A ou B de façon statistiquement significative (en utilisant le cadre réel de ma question initiale). Je pense que les diagrammes de ventilation peuvent constituer une excellente explication visuelle de ce concept.
Sympa
@ Whuber je suis d'accord avec vous. C'est juste un exemple qui explique pourquoi ce n'est pas nécessaire
Abhishek Anand
C'est bien, mais vous semblez avoir une idée fausse quant aux corrélations entre ces vecteurs. Aucune de vos déclarations concernant les coefficients de corrélation de ces vecteurs n'est généralement correcte.
whuber