Prélever des échantillons à partir d'un mélange fini de distributions normales?

Après quelques étapes de mise à jour bayésienne, il me reste une distribution postérieure de la forme d'un mélange de distributions normales, C'est-à-dire que le paramètre θ est tiré d'une distribution dont le PDF est donné comme un mélange pondéré de PDF normaux, et n'est pas une somme de RV normaux. Je voudrais tirer des échantillons θ ∼ Pr ( θ | données

$$\Pr(\theta| \text{data} ) = \sum_{i=1}^k w_i N(\mu_i, \sigma^2).$$ $\theta$$\theta\sim\Pr(\theta|\text{data})$ à utiliser dans une approximation d'échantillonnage d'importance de ce postérieur. En pratique, la somme sur $i$ peut avoir un grand nombre de termes, de sorte qu'il peut être difficile de choisir un terme fonction des poids { w i } puis de dessiner θ ∼ N ( μ i , σ 2 ) . Existe-t-il un moyen efficace de prélever des échantillons à partir d'une partie postérieure de ce formulaire?$i$$\{w_i\}$$\theta\sim N(\mu_i, \sigma^2)$

En principe, on pourrait présélectionner le nombre d'échantillons à prélever dans chaque sous-distribution, puis visiter chaque sous-distribution une seule fois et tirer un nombre de points.

C'est

1. Trouver l'ensemble aléatoire tel que n = ∑ k i = 1 n $<n_1, n_2, \dots, n_k>$$n = \sum_{i=1}^k n_i$ et en respectant les poids.

   Je crois que vous faites cela en traçant une distribution de Poisson une distribution multinomiale (voir les commentaires) de la moyenne pour chaque sous-distribution, puis en normalisant la somme à $w_i * n$$n$ .

   Le travail ici est $\mathcal{O}(k) * \mathcal{O}(n)$

2. Alors fais

   for (i=1; i<=k; ++i)
      for (j=1; j<=n[i]; ++j)
         theta ~ N(mu[i],sigma[i])
   

   Le travail ici est $\mathcal{O}(n)$

Bien que cela signifie que vous n'obtenez pas le dans un ordre aléatoire. Si un ordre aléatoire est requis, vous devez alors mélanger les tirages (également grand ).$\mathcal{O}(n)$

Il semble que la première étape soit dominante au moment de l'exécution et du même ordre que l'algorithme naïf, mais si vous êtes sûr que tout vous pouvez approximer les distributions de Poisson avec des distributions normales et accélérer la première étape.$w_i * n \gg 1$

Remarque: La version originale de cette question demandait une «somme pondérée des distributions normales» à laquelle la réponse suivante pourrait être utile. Cependant, après une bonne discussion sur cette réponse, la réponse de @Geoff, et sur la question elle-même, il est devenu clair que la question était vraiment sur l'échantillonnage d'un "mélange de distributions normales" auquel cette réponse n'est pas applicable.

---

La somme des distributions normales est une distribution normale, vous pouvez donc calculer les paramètres de cette distribution unique, puis simplement en tirer des échantillons. Si nous appelons cette distribution alors,$N(\mu_{sum},\sigma_{sum}^2)$

$$\mu_{sum} = \sum_{i=1}^k w_i\mu_i$$

$$\sigma_{sum}^2=\sum_{i=1}^k w_i^2 \sigma_i^2$$

Mise à jour : Cette réponse est incorrecte, résultant d'une confusion dans la terminologie (voir la chaîne de commentaires ci-dessous pour plus de détails); Je ne laisse que cela comme un guide pour que les gens ne republient pas cette réponse (à part Barron). Veuillez ne pas voter pour ou contre.

$X_{1} \sim N(\mu_{1}, \sigma_{1}^{2})$$X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

$$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2}).$$

Également si $w_{1} \in \mathbb{R}$, puis

$$w_{1}X_{1} \sim N(w_{1}\mu_{1}, w_{1}^{2}\sigma_{1}^{2}).$$

En utilisant ces deux résultats combinés,

$$Pr(\theta | \rm{data}) \sim N\big(\sum_{i=1}^{k}w_{i}\mu_{i}, \sum_{i=1}^{k}w_{i}^{2}\sigma_{i}^{2}\big).$$

Dans ce cas, vous n'aurez donc qu'à extraire des échantillons d'une seule distribution, qui devrait être beaucoup plus maniable.