Pour quelles distributions la non-corrélation implique-t-elle l'indépendance?

Un rappel historique des statistiques est que "la non-corrélation n'implique pas l' indépendance". Habituellement, ce rappel est complété par l'affirmation psychologiquement apaisante (et scientifiquement correcte) "quand, néanmoins, les deux variables sont distribuées normalement conjointement , alors l'absence de corrélation implique l'indépendance".

Je peux augmenter le nombre d'exceptions heureuses de un à deux: lorsque deux variables sont distribuées par Bernoulli , là encore, la non-corrélation implique l'indépendance. Si et sont deux RV de Bermoulli, , pour lequel nous avons , et de façon analogue pour , leur covariance est $X$ $Y$ $X \sim B(q_x),\; Y \sim B(q_y)$ $P(X=1) = E(X) = q_x$ $Y$

Cov (X, Y) = E (X Y) - E (X) E (Y) = \sum_{S_{X Y}} p (x, y) x y - q_{x} q_{y}

$\operatorname{Cov}(X,Y)= E(XY) - E(X)E(Y) = \sum_{S_{XY}}p(x,y)xy - q_xq_y$

= P (X = 1, Y = 1) - q_{x} q_{y} = P (X = 1 ∣ Y = 1) P (Y = 1) - q_{x} q_{y}

$= P(X=1,Y=1) - q_xq_y = P(X=1\mid Y=1)P(Y=1)-q_xq_y$

= (P (X = 1 ∣ Y = 1) - q_{x}) q_{y}

$= \Big(P(X=1\mid Y=1)-q_x\Big)q_y$

Pour la non-corrélation, nous exigeons que la covariance soit nulle, donc

Cov (X, Y) = 0 \Rightarrow P (X = 1 ∣ Y = 1) = P (X = 1)

$\operatorname{Cov}(X,Y) = 0 \Rightarrow P(X=1\mid Y=1) = P(X=1)$

\Rightarrow P (X = 1, Y = 1) = P (X = 1) P (Y = 1)

$\Rightarrow P(X=1,Y=1) = P(X=1)P(Y=1)$

qui est la condition également nécessaire pour que les variables soient indépendantes.

Ma question est donc la suivante: connaissez-vous d'autres distributions (continues ou discrètes) pour lesquelles la non-corrélation implique l'indépendance?

Signification: Supposons deux variables aléatoires qui ont des distributions marginales qui appartiennent à la même distribution (peut-être avec des valeurs différentes pour les paramètres de distribution impliqués), mais disons avec le même support, par exemple. deux exponentielles, deux triangulaires, etc. Toutes les solutions à l'équation sont-elles telles qu'elles impliquent également l'indépendance, en vertu de la forme / des propriétés des fonctions de distribution impliquées? C'est le cas des marginaux normaux (étant donné également qu'ils ont une distribution normale bivariée), ainsi que des marginaux de Bernoulli - y a-t-il d'autres cas? $X,Y$ $\operatorname{Cov}(X,Y) = 0$

La motivation ici est qu'il est généralement plus facile de vérifier si la covariance est nulle que de vérifier si l'indépendance tient. Donc si, compte tenu de la distribution théorique, en vérifiant la covariance vous vérifiez également l'indépendance (comme c'est le cas avec le Bernoulli ou le cas normal), alors ce serait une chose utile à savoir.
Si on nous donne deux échantillons de deux RV qui ont des marginaux normaux, nous savons que si nous pouvons statistiquement conclure des échantillons que leur covariance est nulle, nous pouvons également dire qu'ils sont indépendants (mais uniquement parce qu'ils ont des marginaux normaux). Il serait utile de savoir si nous pourrions conclure de même dans les cas où les deux RV avaient des marginaux qui appartenaient à une autre distribution.

probability distributions correlation mathematical-statistics independence Alecos Papadopoulos
la source

Logiquement, il n'y a pas de question ici: prenez n'importe quelle paire de variables indépendantes comme distribution. Qu'elles soient corrélées ou non, elles sont indépendantes par fiat ! Vous devez vraiment être plus précis sur ce que vous entendez par «distribution» et sur les types de réponses que vous trouverez utiles.

whuber

@whuber je ne comprends pas votre commentaire. Je commence par la non-corrélation et demande "si je peux prouver qu'ils ne sont pas corrélés, quand est-ce que cela implique qu'ils sont également indépendants"? Étant donné que les deux résultats énoncés dans la question dépendent du fait que les RV ont une distribution spécifique (normale ou Bernoulli), je demande "existe-t-il une autre distribution connue pour laquelle, si les deux variables la suivent, ce résultat est valable"?

Alecos Papadopoulos

Prenez deux variables indépendantes et laissez leur distribution. est une réponse valide à votre question. Notez que vous demandez de prouver un conditionnel, qui par définition est vrai chaque fois que le conséquent est vrai, quelle que soit la valeur de vérité de son antécédent. Ainsi, selon les règles de base de la logique, toutes les distributions de variables indépendantes sont des réponses à votre question.

X, Y

$X,Y$

F

$F$

F

$F$

whuber

@Whuber, vous avez évidemment raison. J'ai ajouté un texte lié à la motivation de cette question, qui j'espère clarifie quelle était ma motivation.

Alecos Papadopoulos

Avec quelles informations commencez-vous lorsque vous prenez cette décision? D'après la formulation de votre exemple, il semble que l'on vous donne le pdf marginal pour chaque variable et l'information que chaque paire de variables n'est pas corrélée. Vous décidez ensuite s'ils sont également indépendants. Est-ce exact?

probabilislogic

"Néanmoins, si les deux variables sont normalement distribuées, alors l'absence de corrélation implique l'indépendance" est une erreur très courante .

Cela ne s'applique que s'ils sont distribués normalement conjointement .

Le contre-exemple que j'ai vu le plus souvent est un normal et un Rademacher indépendant (il vaut donc 1 ou -1 avec une probabilité de 0,5 chacun); alors est également normal (clair si l'on considère sa fonction de distribution), (le problème ici est de montrer par exemple en itérant l'attente sur , et notant que est ou avec une probabilité de 0,5 chacun) et il est clair que les variables sont dépendantes (par exemple, si je connais alors soit ou , donc des informations sur $X \sim N(0,1)$ $Y$ $Z=XY$ $\operatorname{Cov}(X,Z)=0$ $\mathbb{E}(XZ)=0$ $Y$ $XZ$ $X^2$ $-X^2$ $X>2$ $Z>2$ $Z<-2$ $X$ me donne des informations sur ). $Z$

Il convient également de garder à l'esprit que les distributions marginales ne déterminent pas uniquement la distribution conjointe. Prenez deux vrais VR et avec les CDF marginaux et . Alors pour tout la fonction: $X$ $Y$ $F_X(x)$ $G_Y(y)$ $\alpha<1$

H_{X, Y} (x, y) = F_{X} (x) G_{Y} (y) (1 + α (1 - F_{X} (x)) (1 - F_{Y} (y)))

$H_{X,Y}(x,y)=F_X(x)G_Y(y)\left(1+\alpha\big(1-F_X(x)\big)\big(1-F_Y(y)\big)\right)$

sera un CDF bivarié. (Pour obtenir le marginal partir de prenez la limite lorsque va à l'infini, où Vice-versa pour ) Clairement en sélectionnant différentes valeurs of vous pouvez obtenir différentes distributions conjointes! $F_X(x)$ $H_{X,Y}(x,y)$ $y$ $F_Y(y)=1$ $Y$ $\alpha$

Silverfish
la source

En effet. J'ai oublié le "joint".

Alecos Papadopoulos

@Alecos Puisque les distributions marginales ne déterminent pas la distribution conjointe en général (j'ai juste édité ma réponse pour que ce soit clair), où cela laisse-t-il votre question?

Silverfish

@Alecos Je pense que j'ai maintenant une meilleure compréhension de la substance de la question: étant donné deux distributions marginales, il existe un ensemble infini de distributions conjointes possibles. Dans quelles circonstances l'imposition de la condition de covariance nulle nous laisse-t-il une seule de ces distributions conjointes encore possible, à savoir celle dans laquelle les variables aléatoires sont indépendantes?

Silverfish

M_{X, Y} (s, t)

$M_{X,Y}(s,t)$

M_{X} (s) = M_{X, Y} (s, 0)

$M_X(s)=M_{X,Y}(s,0)$

M_{Y} (t) = M_{X, Y} (0, t)

$M_Y(t)=M_{X,Y}(0,t)$

\frac{\partial^{2}}{\partial s \partial t} M_{X, Y} (s, t) |_{s = 0, t = 0} = \frac{\partial}{\partial s} M_{X, Y} (s, t) |_{s = 0, t = 0} \cdot \frac{\partial}{\partial t} M_{X, Y} (s, t) |_{s = 0, t = 0}

$\frac{\partial^2}{\partial s \partial t}M_{X,Y}(s,t)|_{s=0,t=0} = \frac{\partial}{\partial s} M_{X,Y}(s,t)|_{s=0,t=0} \cdot \frac{\partial}{\partial t} M_{X,Y}(s,t)|_{s=0,t=0}$

M_{X, Y} (s, t) = M_{X, Y} (s, 0) \cdot M_{X, Y} (0, t)

$M_{X,Y}(s,t)=M_{X,Y}(s,0) \cdot M_{X,Y}(0,t)$

@Silverman Je vérifierais le concept de sous- dépendance , en.wikipedia.org/wiki/Subindependence , pour voir si ce problème peut être formulé en termes de fonctions génératrices de moments.

Alecos Papadopoulos

Pour quelles distributions la non-corrélation implique-t-elle l'indépendance?

Réponses: