Est-il possible d'avoir une paire de variables aléatoires gaussiennes pour lesquelles la distribution conjointe n'est pas gaussienne?

Quelqu'un m'a posé cette question lors d'un entretien d'embauche et j'ai répondu que leur distribution commune est toujours gaussienne. Je pensais que je pouvais toujours écrire une gaussienne à deux variables avec leurs moyennes, leur variance et leurs covariances. Je me demande s’il peut exister un cas pour lequel la probabilité commune de deux gaussiennes ne soit pas gaussienne?

La distribution normale à deux variables est l' exception et non la règle!

Il est important de reconnaître que "presque toutes" les distributions jointes avec des marges normales ne sont pas la distribution normale bivariée. C'est-à-dire que le point de vue général selon lequel les distributions jointes avec des marges normales qui ne sont pas la normale bivariée sont en quelque sorte "pathologiques", est un peu erroné.

Certes, la normale multivariée est extrêmement importante en raison de sa stabilité lors de transformations linéaires, et fait donc l'objet de toutes les attentions dans les applications.

Exemples

Il est utile de commencer par quelques exemples. La figure ci-dessous contient des cartes thermiques de six distributions à deux variables, qui ont toutes des marges normales normales. Les valeurs de gauche et du milieu dans la rangée supérieure sont des normales à deux variables, les autres ne le sont pas (comme cela devrait être évident). Ils sont décrits plus en détail ci-dessous.

Les os nus des copules

Les propriétés de dépendance sont souvent efficacement analysées à l'aide de copules . Une copule bivariée est juste un nom de fantaisie pour une distribution de probabilité sur le carré unité avec des marginales uniformes .$[0,1]^2$

Supposons que est une copule bivariée. Ensuite, immédiatement à partir de ce qui précède, nous savons que C ( u , v ) ≥ 0 , C ( u , 1 ) = u et C ( 1 , v ) = v , par exemple.$C(u,v)$$C(u,v) \geq 0$$C(u,1) = u$$C(1,v) = v$

Nous pouvons construire des variables aléatoires bivariées sur le plan euclidien avec des marginales prédéfinies par une simple transformation d'une copule bivariée. Soit et F 2 des distributions marginales prescrites pour une paire de variables aléatoires ( X , Y ) . Alors, si C ( u , v ) est une copule à deux variables, F ( x , y ) = C ( F 1 ( x ) , F 2 ( y ) $F_1$$F_2$$(X,Y)$$C(u,v)$

$$F(x,y) = C(F_1(x), F_2(y))$$ est une fonction de distribution bivariée avec les marginales et F 2 . Pour voir ce dernier fait, il suffit de noter que P ( X ≤ x ) = P ( X ≤ x , Y < ∞ ) = C ( F 1 ( x ) , F 2 ( ∞ ) ) = C ( F 1 ( x ) , 1 ) = F 1$F_1$$F_2$ Le même argument fonctionne pour F $$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$$ $F_2$ .

Pour et F 2 continus , le théorème de Sklar affirme une réciproque impliquant l'unicité. En d’autres termes, étant donné une distribution bivariée F ( x , y ) avec des marges continues F 1 , F 2 , la copule correspondante est unique (sur l’espace de plage approprié).$F_1$$F_2$$F(x,y)$$F_1$$F_2$

La normale bivariée est exceptionnelle

Le théorème de Sklar nous dit (essentiellement) qu'il n'y a qu'une seule copule qui produit la distribution normale bivariée. Ceci est, bien son nom, la copule gaussienne qui a une densité sur c ρ ( u , v ) : = ∂ $[0,1]^2$ Où le numérateur est la distribution normale bidimensionnelle avec corrélation ρ évaluée à Φ - 1 ( u ) et Φ - 1 ( v ) .

$$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$$ $\rho$$\Phi^{-1}(u)$$\Phi^{-1}(v)$

Cependant, il existe de nombreuses autres copules et chacune d'entre elles donnera une distribution à deux variables avec des marges normales qui ne correspond pas à la normale à deux variables en utilisant la transformation décrite dans la section précédente.

Quelques détails sur les exemples

Notez que si est am arbitraire copule avec une densité c ( u , v ) , la densité bidimensionnelle correspondant aux marginaux standards normaux en vertu de la transformation F ( x , y ) = C ( Φ ( x ) , Φ ( y ) ) est f ( x , y ) = φ ( x ) φ $C(u,v)$$c(u,v)$$F(x,y) = C(\Phi(x),\Phi(y))$

$$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$$

Notez qu'en appliquant la copule gaussienne dans l'équation ci-dessus, nous récupérons la densité normale à deux variables. Mais, pour tout autre choix de $c(u,v)$ , nous ne le ferons pas.

Les exemples de la figure ont été construits comme suit (en parcourant chaque ligne, une colonne à la fois):

1. Bivarié normal avec composants indépendants.
2. Normal bivarié avec $\rho = -0.4$ .
3. L' exemple donné dans cette réponse de Dilip Sarwate . On peut voir facilement être induite par la copule avec une densité c ( u , v ) = 2 ( 1 ( 0 ≤ u ≤ 1 / 2 , 0 ≤ v ≤ 1 / 2 ) + 1 ( 1 / 2 < u ≤ 1 , 1 $C(u,v)$.$c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
4. Généré à partir de la copule de Frank avec le paramètre .$\theta = 2$
5. Généré à partir de la copule de Clayton avec le paramètre $\theta = 1$ .
6. Généré à partir d'une modification asymétrique de la copule de Clayton avec le paramètre .$\theta = 3$

Il est vrai que chaque élément d’un vecteur normal multivarié est lui-même normalement distribué, et vous pouvez en déduire leurs moyennes et leurs variances. Cependant, il n’est pas vrai que deux variables aléatoires guassiennes soient conjointement distribuées normalement. Voici un exemple:

$\sigma^2=0$

---

$X \sim N(0,1)$$Y = X \cdot (2B-1)$$B$${\rm Bernoulli}(1/2)$$Y = \pm X$$1/2$

$Y$

$$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$$

Prochain,

$$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$$

$\Phi$

$$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$$

Donc,

$$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$$

$Y$$\Phi(\cdot)$$Y \sim N(0,1)$

$X,Y$$X,Y$

$$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$$

$Y+X$$50/50$$N(0,4)$

Le post suivant contient un aperçu d'une preuve, juste pour donner les idées principales et vous aider à démarrer.

$z = (Z_1, Z_2)$$x = (X_1, X_2)$

$$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$$

$X_i \sim N(\mu_i, \sigma_i^2)$

$x = (X_1, X_2)$$x = Az$$z = (Z_1, Z_2)$

$x = (X_1, X_2)$

Preuve . Trivial, ignoré pour ne pas offenser personne.

$X_1, X_2$

$X_1 | X_2$

$X_1, X_2$ soient les mêmes r.v gaussiens qu’auparavant, mais supposons qu’ils ont une variance positive et une moyenne nulle pour simplifier.

$\mathbf S$$X_2$$X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$$X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$$X_2$$z$$X_2, X_1^{\mathbf S^\perp}$

$$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$$ $\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

$$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$$

$$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$$

$X, Y$$X | Y$$Y|X$