Les modèles de mélange gaussiens (GMM) sont attrayants car ils sont simples à utiliser à la fois en analyse et en pratique, et sont capables de modéliser certaines distributions exotiques sans trop de complexité. Il y a quelques propriétés analytiques que nous devrions nous attendre à conserver qui ne sont pas claires en général. En particulier:
- Disons que est la classe de tous les mélanges gaussiens à composants. Pour toute distribution continue sur les réels, avons-nous la garantie qu'à mesure que croît, nous pouvons approcher avec un GMM avec une perte négligeable au sens d'entropie relative? C'est, ne
- Disons que nous avons une distribution continue et nous avons identifié un monocomposant mélange gaussien P qui est proche de P dans la variation totale: δ ( P , P ) < ε . Peut - on lié D ( P | | P ) en termes de ε ?
- Si nous voulons observer par le bruit additif indépendant (réelle, continue), et nous avons GMM X ~ Q X , Y ~ Q N où δ ( P , Q ) < ε , alors cette valeur est-elle petite: | m m de e ( le X | X + Y ) - m m de l'e ( XAutrement ditestil vrai queestimationparestbruitpeu près aussi difficile queestimation de X par Y bruit?
- Pouvez-vous le faire pour des modèles de bruit non additifs comme le bruit de Poisson?
Jusqu'à présent, ma (courte) revue de la littérature vient de révéler des didacticiels très appliqués. Quelqu'un at-il des références qui démontrent rigoureusement dans quelles conditions nous sommes justifiés d'utiliser des modèles de mélange?
Réponses:
En économétrie, où le contexte est celui des distributions mixtes des coefficients dans les modèles logit, la référence standard est: MODÈLES MIXTES MNL POUR UNE RÉPONSE DISCRETE DANIEL MCFADDEN ET KENNETH TRAIN, JOURNAL OF APPLIED ECONOMETRICS, J. Appl. Econ. 15: 447-470 (2000).
la source
Concernant vos questions:
la source
Voici une réponse partielle.
Non . Vous ne pouvez espérer qu'une divergence KL est faible si vous savez que Q « s queues sont finalement du même ordre que P » s. Ce n'est pas vrai en général. Il n'est pas difficile de voir que pour P Cauchy alors pour tout n , inf P ∈ S n D ( P | |D(P∥Q) Q P P n
Plus de conditions surP sont nécessaires pour dire cela.
Non. Le même exemple ci-dessus s'applique.
I don't know. IfX,Y,X^,Y^ have finite mean and variance then the MMSEs are E[X|Y] and E[X^|Y^] (simple derivation here). With these assumptions, the object is to determine whether |EP[(EP[X|Y]−X)2]−EQ[(EQ[X|Y]−X)2]| is small when TV(P,Q) is small. Related.
I haven't been able to prove this, either in general or using the extra additive structure we have assumed on P,Q, or come up with any counterexamples.
This is ambiguous. In the context of the previous question, if the statement in that answer can be proven in general then the answer is yes.
la source