Comment prouver cette inégalité du mélange gaussien? (Ajustement / Sur-ajustement)

Soit f [x] un mélange gaussien pdf avec n termes de poids uniforme, signifie , et les variances correspondantes :$\{\mu_{1},...,\mu_{n}\}$$\{\sigma_{1},...,\sigma_{n}\}$

$$f(x)\equiv\frac{1}{n}\sum_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma_{i}^{2}}}e^{-\frac{(x-\mu_{i})^{2}}{2\sigma_{i}^{2}}}$$

Il semble intuitif que la log-liklihood échantillonnée aux n centres gaussiens serait supérieure (ou égale) à la log-liklihood moyenne:

$$\frac{1}{n}\sum_{j=1}^{n}ln(f(\mu_{j}))\geq\int f(x)ln(f(x))dx$$

C'est évidemment vrai pour les petites variances (chaque est au-dessus d'une étroite gaussienne) et pour les très grandes variances (toutes les sont au sommet d'une large gaussienne ensemble), et cela a été vrai chaque ensemble de et que j'ai généré et optimisé, mais je ne sais pas comment prouver que c'est toujours vrai. Aidez-moi?$\mu_{i}$$\mu_{i}$$\mu_i$$\sigma_i$

Il s'agit plus d'un commentaire étendu, alors prenez-le comme tel. Définissez: (j'utilise la norme notation pour les distributions gaussiennes).

$$f(x) \equiv \frac{1}{n} \sum_{i = 1}^n \mathcal{N}\left(x | x_i, \sigma_i^2 \right)$$

Vous voulez prouver que: qui est

$$\frac{1}{n} \sum_{i = 1}^n \log f(x_i) - \int f(x) \log f(x) dx \ge 0$$ $$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i)\right\} + \mathcal{H}[f] \ge 0.$$

En raison de l'inégalité de Jensen (voir par exemple Huber et al., On Entropy Approximation for Gaussian Mixture Random Vectors, 2008 ), avec , qui provient de la convolution de deux densités gaussiennes. Nous obtenons donc: Fait intéressant, les sont toujours des mélanges de gaussiens avec des moyennes de composants égales à celles de

$$\mathcal{H}[f] \ge -\frac{1}{n} \sum_{i = 1}^n \log \int f(x) \mathcal{N}(x | x_i, \sigma_i^2) dx = -\frac{1}{n} \sum_{i = 1}^n \log g_i(x_i)$$ $g_i(x) \equiv \frac{1}{n} \sum_{j = 1}^n \mathcal{N}\left(x | x_j, \sigma_i^2 + \sigma_j^2 \right)$ $$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i) \right\} + \mathcal{H}[f] \ge \frac{1}{n} \sum_{i = 1}^n \log \frac{f(x_i)}{g_i(x_i)}.$$ $g_i$$f$, mais chaque composante de a une variance strictement plus grande que sa composante correspondante dans . Pouvez-vous faire quelque chose avec ça?$g_i$$f$

Je crois que j'ai compris. Cela ne prend que des étapes élémentaires, bien que vous deviez les combiner correctement.

Notons la densité du ème gaussien, c'est-à-dire$f_i$$i$$\frac{1}{\sqrt{2\pi \sigma_i^2}}e^{\frac{(x-\mu_i)^2}{2\sigma_i^2}}$

Nous commençons par l'inégalité de Jensen. La fonction est convexe, d'où nous avons: . Après l'intégration, nous obtenons: Edit: l'inégalité ci-dessous est fausse, tout comme la solution elle-même$g(x) = x log(x)$$f(x) \log(f(x)) \leq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$

$$\int f(x)\log(f(x)) dx \leq \frac{1}{n} \sum_{i=1}^n \int f_i(x) \log(f_i(x)) dx$$

Maintenant le RHS. Pour tout nous avons , donc: D'où: Il nous reste à prouver: Mais nous avons: En sommant et en divisant par on obtient quoi Nous avions besoin$i$$f \geq f_i$

$$log(f(\mu_i)) \geq log(f_i(\mu_i))$$ $$\frac{1}{n} \sum_{i=1}^n log(f(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i))$$ $$\frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$$ $$log(f_i(\mu_i)) = \int f_i(x) log(f_i(\mu_i)) dx \geq \int f_i(x) log(f_i(x)) dx$$ $i$$n$