Est-il possible d'avoir une paire de variables aléatoires gaussiennes pour lesquelles la distribution conjointe n'est pas gaussienne?

91

Quelqu'un m'a posé cette question lors d'un entretien d'embauche et j'ai répondu que leur distribution commune est toujours gaussienne. Je pensais que je pouvais toujours écrire une gaussienne à deux variables avec leurs moyennes, leur variance et leurs covariances. Je me demande s’il peut exister un cas pour lequel la probabilité commune de deux gaussiennes ne soit pas gaussienne?

MarkSAlen
la source
4
Un autre exemple de Wikipedia . Bien sûr, si les variables sont indépendantes et légèrement gaussiennes, elles sont conjointement gaussiennes.
2
Un exemple ici wu.ece.ufl.edu/books/math/probability/jointlygaussian.pdf
Stéphane Laurent le

Réponses:

138

La distribution normale à deux variables est l' exception et non la règle!

Il est important de reconnaître que "presque toutes" les distributions jointes avec des marges normales ne sont pas la distribution normale bivariée. C'est-à-dire que le point de vue général selon lequel les distributions jointes avec des marges normales qui ne sont pas la normale bivariée sont en quelque sorte "pathologiques", est un peu erroné.

Certes, la normale multivariée est extrêmement importante en raison de sa stabilité lors de transformations linéaires, et fait donc l'objet de toutes les attentions dans les applications.

Exemples

Il est utile de commencer par quelques exemples. La figure ci-dessous contient des cartes thermiques de six distributions à deux variables, qui ont toutes des marges normales normales. Les valeurs de gauche et du milieu dans la rangée supérieure sont des normales à deux variables, les autres ne le sont pas (comme cela devrait être évident). Ils sont décrits plus en détail ci-dessous.

Exemples de distribution bivariée avec des marges normales normales.

Les os nus des copules

Les propriétés de dépendance sont souvent efficacement analysées à l'aide de copules . Une copule bivariée est juste un nom de fantaisie pour une distribution de probabilité sur le carré unité avec des marginales uniformes .[0,1]2

Supposons que est une copule bivariée. Ensuite, immédiatement à partir de ce qui précède, nous savons que C ( u , v ) 0 , C ( u , 1 ) = u et C ( 1 , v ) = v , par exemple.C(vous,v)C(vous,v)0C(vous,1)=vousC(1,v)=v

Nous pouvons construire des variables aléatoires bivariées sur le plan euclidien avec des marginales prédéfinies par une simple transformation d'une copule bivariée. Soit et F 2 des distributions marginales prescrites pour une paire de variables aléatoires ( X , Y ) . Alors, si C ( u , v ) est une copule à deux variables, F ( x , y ) = C ( F 1 ( x ) , F 2 ( y ) )F1F2(X,Y)C(vous,v)

F(X,y)=C(F1(X),F2(y))
est une fonction de distribution bivariée avec les marginales et F 2 . Pour voir ce dernier fait, il suffit de noter que P ( X x ) = P ( X x , Y < ) = C ( F 1 ( x ) , F 2 ( ) ) = C ( F 1 ( x ) , 1 ) = F 1 xF1F2 Le même argument fonctionne pour F 2
P(Xx)=P(Xx,Y<)=C(F1(x),F2())=C(F1(x),1)=F1(x).
F2 .

Pour et F 2 continus , le théorème de Sklar affirme une réciproque impliquant l'unicité. En d’autres termes, étant donné une distribution bivariée F ( x , y ) avec des marges continues F 1 , F 2 , la copule correspondante est unique (sur l’espace de plage approprié).F1F2F(x,y)F1F2

La normale bivariée est exceptionnelle

Le théorème de Sklar nous dit (essentiellement) qu'il n'y a qu'une seule copule qui produit la distribution normale bivariée. Ceci est, bien son nom, la copule gaussienne qui a une densité sur c ρ ( u , v ) : = 2[0,1]2 Où le numérateur est la distribution normale bidimensionnelle avec corrélation ρ évaluée à Φ - 1 ( u ) et Φ - 1 ( v ) .

cρ(u,v):=2uvCρ(u,v)=φ2,ρ(Φ1(u),Φ1(v))φ(Φ1(u))φ(Φ1(v)),
ρΦ1(vous)Φ-1(v)

Cependant, il existe de nombreuses autres copules et chacune d'entre elles donnera une distribution à deux variables avec des marges normales qui ne correspond pas à la normale à deux variables en utilisant la transformation décrite dans la section précédente.

Quelques détails sur les exemples

Notez que si est am arbitraire copule avec une densité c ( u , v ) , la densité bidimensionnelle correspondant aux marginaux standards normaux en vertu de la transformation F ( x , y ) = C ( Φ ( x ) , Φ ( y ) ) est f ( x , y ) = φ ( x ) φ (C(vous,v)c(vous,v)F(x,y)=C(Φ(x),Φ(y))

f(x,y)=φ(x)φ(y)c(Φ(X),Φ(y)).

Notez qu'en appliquant la copule gaussienne dans l'équation ci-dessus, nous récupérons la densité normale à deux variables. Mais, pour tout autre choix de c(vous,v) , nous ne le ferons pas.

Les exemples de la figure ont été construits comme suit (en parcourant chaque ligne, une colonne à la fois):

  1. Bivarié normal avec composants indépendants.
  2. Normal bivarié avec ρ=-0.4 .
  3. L' exemple donné dans cette réponse de Dilip Sarwate . On peut voir facilement être induite par la copule avec une densité c ( u , v ) = 2 ( 1 ( 0 u 1 / 2 , 0 v 1 / 2 ) + 1 ( 1 / 2 < u 1 , 1 /C(vous,v).c(u,v)=2(1(0u1/2,0v1/2)+1(1/2<u1,1/2<v1))
  4. Généré à partir de la copule de Frank avec le paramètre .θ=2
  5. Généré à partir de la copule de Clayton avec le paramètre θ=1 .
  6. Généré à partir d'une modification asymétrique de la copule de Clayton avec le paramètre .θ=3
cardinal
la source
7
+1 pour la remarque que la densité normale bivariée est le cas exceptionnel!
Dilip Sarwate
X1,X2N(0,1)(X1,X2)F(x1,x2)X,X2nous avons commencé avec, non?
RandomGuy
Exemple de simulation comme dans le panneau inférieur droit: library(copula) kcf <- khoudrajiCopula(copula2 = claytonCopula(6), shapes = fixParam(c(.4, 1), c(FALSE, TRUE))) # force normal margins evil <- mvdc(kcf, c("norm", "norm"), list(list(mean = 0, sd =1), list(mean = 0, sd = 1))) contour(evil, dMvdc, xlim = c(-3, 3), ylim=c(-3, 3))
demi-passage du
1
X1,X2independentN(0,1)
25

Il est vrai que chaque élément d’un vecteur normal multivarié est lui-même normalement distribué, et vous pouvez en déduire leurs moyennes et leurs variances. Cependant, il n’est pas vrai que deux variables aléatoires guassiennes soient conjointement distribuées normalement. Voici un exemple:

σ2=0


X~N(0,1)Y=X(2B-1)BBernovousllje(1/2)Y=±X1/2

Y

P(Yy)=12(P(Yy|B=1)+P(Yy|B=0))

Prochain,

P(Yy|B=0)=P(-Xy)=1-P(X-y)=1-Φ(-y)=Φ(y)

Φ

P(Yy|B=1)=P(Xy)=Φ(y)

Donc,

P(Yy)=12(Φ(y)+Φ(y))=Φ(y)

YΦ()Y~N(0,1)

X,YX,Y

Y+X={2Xsi B=10si B=0

Y+X50/50N(0,4)

Macro
la source
4
1μ(X,-X)
4
@DilipSarwate, la question était de donner un exemple (s'il en existait une) de deux variables qui sont normalement distribuées mais leur distribution conjointe n'est pas normale à plusieurs variables. Ceci est un exemple. La plupart des définitions standard de la distribution normale (par exemple wikipedia en.wikipedia.org/wiki/Normal_distribution ) exigent la variance du donc strictement positif, sans compter une masse ponctuelle dans le cadre de la famille des distributions normales.
Macro
4
XRnuneTXuneRn
6
Y~N(μ,σ2)Y=(Y,-Y)Y
5
La discussion porte sur les définitions. Clairement, si la matrice de covariance par définition doit être non singulière, Macro fournit un exemple, mais il ne s'agit pas d'un exemple conforme à la définition plus libérale à laquelle @ cardinal fait également référence. Une bonne raison de préférer la définition plus libérale est que toutes les transformations linéaires de variables normales sont normales. En particulier, dans la régression linéaire avec erreurs normales, les résidus ont une distribution normale conjointe mais la matrice de covariance est singulière.
NRH
5

Le post suivant contient un aperçu d'une preuve, juste pour donner les idées principales et vous aider à démarrer.

z=(Z1,Z2)X=(X1,X2)

X=(X1X2)=(α11Z1+α12Z2α21Z1+α22Z2)=(α11α12α21α22)(Z1Z2)=UNEz.

Xje~N(μje,σje2)

X=(X1,X2)X=UNEzz=(Z1,Z2)

X=(X1,X2)

Preuve . Trivial, ignoré pour ne pas offenser personne.

X1,X2

X1|X2

X1,X2 soient les mêmes r.v gaussiens qu’auparavant, mais supposons qu’ils ont une variance positive et une moyenne nulle pour simplifier.

SX2X1S=ρσX1σX2X2X1S=X1-X1S

X1X2zX2,X1S

X1=X1S+X1S
E[X1|X2]=ρσX1σX2X2=X1S

V[X1|X2]=V[X1S]=E[X1-ρσX1σX2X2]2=(1-ρ)2σX12.

X1|X2~N(X1S,(1-ρ)2σX12).

X,YX|YY|X

auxiliaire
la source
2
On ne voit pas comment cette observation répond à la question. Comme la règle de produit correspond pratiquement à la définition de la distribution conditionnelle, elle n’est pas particulière aux distributions binormales. L'instruction suivante "then in order ..." ne fournit aucune raison: pourquoi exactement les distributions conditionnelles doivent-elles aussi être normales?
whuber
whuber, je réponds à la question principale: "Je me demande s’il peut exister un cas pour lequel la probabilité commune de deux Gaussiens ne soit pas gaussienne?". Donc, la réponse est: quand le conditionnel n'est pas normal. - Ancillary
ancillary
2
Pourriez-vous compléter cette démonstration? Pour l'instant, ce n'est qu'une affirmation de votre part, sans preuve. Ce n'est pas du tout évident que c'est correct. Elle est également incomplète, car vous devez établir l’existence: c’est-à-dire que vous devez démontrer qu’il est effectivement possible qu’une distribution jointe ait des marges normales, mais pour laquelle au moins une condition est non normale. En réalité, c’est trivialement vrai, car vous pouvez librement modifier chaque distribution conditionnelle d’un binormal sur un ensemble de mesure zéro sans modifier ses marginales - mais cette possibilité semblerait contredire vos affirmations.
whuber
Bonjour @ Whuber, j'espère que cela aidera davantage. Avez-vous des suggestions ou des modifications à faire? J'ai écrit ceci très rapidement car pour le moment je n'ai pas beaucoup de temps libre :-) mais j'apprécierais toutes les suggestions ou améliorations que vous pourriez apporter. Best
auxiliaire
(1) Qu'est-ce que vous essayez de prouver? (2) Comme la question qui se pose est de savoir quand une distribution avec des marges gaussiennes n'est pas conjointement gaussienne, je ne vois pas en quoi cet argument mène à quelque chose de pertinent.
whuber