Quelle est la variance du mélange pondéré de deux gaussiennes?

Supposons que j'ai deux distributions normales A et B avec les moyennes et et les variances et . Je veux prendre un mélange pondéré de ces deux distributions en utilisant les poids et où et . Je sais que la moyenne de ce mélange serait . $\mu_A$ $\mu_B$ $\sigma_A$ $\sigma_B$ $p$ $q$ $0\le p \le 1$ $q = 1-p$ $\mu_{AB} = (p\times\mu_A) + (q\times\mu_B)$

Quelle serait la variance?

Un exemple concret serait si je connaissais les paramètres de répartition de la taille des hommes et des femmes. Si j'avais une pièce composée à 60% d'hommes, je pourrais produire la hauteur moyenne attendue pour toute la pièce, mais qu'en est-il de la variance?

normal-distribution mixture JoFrhwld
la source

Concernant la terminologie: le mélange a simplement une moyenne et une variance; Il est inutile de les qualifier d '"attendues", à moins que vous ne laissiez entendre que et devraient être considérés comme des variables aléatoires.

p

$p$

q

$q$

whuber

Je sais que le mélange de deux distributions gaussiennes est identifiable. Mais si les deux distributions ont les mêmes émans? Par exemple, le mélange de deux distributions normales avec les mêmes moyennes et des écarts types différents est-il identifiable? Il y a des papiers dans ce contexte? Merci d'avance

Il y a une question similaire avec des réponses ( qui traitent également les covariances) ici: math.stackexchange.com/q/195911/96547

hplieninger

La variance est le deuxième moment moins le carré du premier moment, il suffit donc de calculer des moments de mélanges.

En général, étant donné les distributions avec PDFs et les poids constants (non aléatoires) , le PDF du mélange est $f_i$ $p_i$

f (x) = \sum_{i} p_{i} f_{i} (x),

$f(x) = \sum_i{p_i f_i(x)},$

à partir de laquelle il suit immédiatement pour tout moment que $k$

μ^{(k)} = E_{f} [x^{k}] = \sum_{i} p_{i} E_{f_{i}} [x^{k}] = \sum_{i} p_{i} μ_{i}^{(k)} .

$\mu^{(k)} = \mathbb{E}_{f}[x^k] = \sum_i{p_i \mathbb{E}_{f_i}[x^k]} = \sum_i{p_i \mu_i^{(k)}}.$

J'ai écrit pour le moment de et pour le moment de . $\mu^{(k)}$ $k^{th}$ $f$ $\mu_i^{(k)}$ $k^{th}$ $f_i$

En utilisant ces formules, la variance peut être écrite

Var (f) = μ^{(2)} - {(μ^{(1)})}^{2} = \sum_{i} p_{i} μ_{i}^{(2)} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} .

$\text{Var}(f) = \mu^{(2)} - \left(\mu^{(1)}\right)^2 = \sum_i{p_i \mu_i^{(2)}} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2.$

De façon équivalente, si les variances du sont données sous la forme , alors , permettant d' écrire la variance du mélange en termes de variances et de moyennes de ses composants ainsi que $f_i$ $\sigma^2_i$ $\mu^{(2)}_i = \sigma^2_i + \left(\mu^{(1)}_i\right)^2$ $f$

\begin{aligned} Var (f) & = \sum_{i} p_{i} (σ_{i}^{2} + {(μ_{i}^{(1)})}^{2}) - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} \\ = \sum_{i} p_{i} σ_{i}^{2} + \sum_{i} p_{i} {(μ_{i}^{(1)})}^{2} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} . \end{aligned}

$\eqalign{ \text{Var}(f) &= \sum_i{p_i \left(\sigma^2_i + \left(\mu^{(1)}_i\right)^2\right)} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2 \\ &= \sum_i{p_i \sigma^2_i} + \sum_i{p_i\left(\mu_i^{(1)}\right)^2} - \left(\sum_{i}{p_i \mu_i^{(1)}}\right)^2. }$

En mots, il s’agit de la variance moyenne (pondérée) plus la moyenne quadratique moyenne moins le carré de la moyenne. Parce que la quadrature est une fonction convexe, Inégalité de Jensen affirme que la moyenne quadratique moyenne ne peut être inférieure au carré de la moyenne moyenne. Cela nous permet de comprendre la formule en indiquant que la variance du mélange est le mélange des variances plus un terme non négatif représentant la dispersion (pondérée) des moyennes.

Dans votre cas, la variance est

p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + [p_{A} μ_{A}^{2} + p_{B} μ_{B}^{2} - (p_{A} μ_{A} + p_{B} μ_{B})^{2}] .

$p_A \sigma_A^2 + p_B \sigma_B^2 + \left[p_A\mu_A^2 + p_B\mu_B^2 - (p_A \mu_A + p_B \mu_B)^2\right].$

Nous pouvons interpréter cela comme un mélange pondéré des deux variances, , plus un terme de correction (nécessairement positif) pour tenir compte des écarts entre les moyennes individuelles et la moyenne globale des mélanges. $p_A\sigma_A^2 + p_B\sigma_B^2$

L'utilité de cette divergence dans l'interprétation des données, telle que donnée dans la question, est douteuse, car la distribution du mélange ne sera pas normale (et peut s'en écarter sensiblement, au point de montrer une bimodalité).

whuber
la source

Notant en particulier que , votre dernière expression se simplifie comme .

p_{A} + p_{B} = 1

$p_A+p_B=1$

σ^{2} = μ^{(2)} - μ^{2} = p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + p_{A} p_{B} (μ_{A} - μ_{B})^{2}

$\sigma^2=\mu^{(2)}-\mu^2=p_A\sigma_A^2+p_B\sigma_B^2+p_Ap_B(\mu_A-\mu_B)^2$

Ilmari Karonen

Ou, si nous imposons une explication probabiliste à une densité de mélange (il existe un événement de probabilité et la densité conditionnelle de étant donné est tandis que la densité conditionnelle de étant donnée est ), alors var est la somme de la moyenne de la variance conditionnelle plus la variance de la moyenne conditionnelle. Ce dernier est un RV discret avec les valeurs avec les probabilités et

A

$A$

p_{A}

$p_A$

X

$X$

A

$A$

N (μ_{A}, σ_{A}^{2})

$N(\mu_A,\sigma_A^2)$

X

$X$

A^{c} = B

$A^c = B$

N (μ_{B}, σ_{B}^{2})

$N(\mu_B,\sigma_B^2)$

(X)

$(X)$

Y

$Y$

μ_{A}, μ_{B}

$\mu_A, \mu_B$

p

$p$

q

$q$ et votre expression entre crochets est facilement reconnue comme étant .

E [Y^{2}] - (E [Y])^{2}

$E[Y^2]-(E[Y])^2$

Dilip Sarwate

@Neodyme Par définition, la variance est le deuxième moment moins la moyenne au carré. Par conséquent, le deuxième moment est la variance plus la moyenne au carré.

whuber

@Neodyme utilise .

E (X) = μ

$E(X)=\mu$

whuber

@ Kiran Bien que, dans certains cas, le mélange puisse sembler normal, il ne le sera pas. Une façon de voir cela est de calculer son kurtosis en excès en utilisant les formules données ici. Il sera non nul à moins que tous les écarts-types ne soient égaux - dans ce cas, le "mélange" n'est pas vraiment un mélange en premier lieu.

whuber

Quelle est la variance du mélange pondéré de deux gaussiennes?

Réponses: