Pourquoi les mélanges de prieurs conjugués sont importants?

8

J'ai une question sur le mélange de prieurs conjugués. J'ai appris et dit le mélange de prieurs conjugués à quelques reprises lorsque j'apprends le bayésien. Je me demande pourquoi ce théorème est si important, comment allons-nous l'appliquer lorsque nous faisons une analyse bayésienne.

Pour être plus précis, un théorème de Diaconis et Ylivisaker 1985 a illustré un théorème comme ceci:

Étant donné un modèle d'échantillonnage p(y|θ) à partir d'une famille exponentielle, toute distribution antérieure peut être approximée par un mélange fini de distributions antérieures conjuguées.

Plus précisément, étant donné p(θ)=p(θ|ω)p(ω)dω, on peut dériver le postérieur:

p(θ|Y)p(Y|θ)p(θ|ω)p(ω)dωp(Y|θ)p(θ|ω)p(Y|ω)p(Y|ω)p(ω)dωp(θ|Y,ω)p(Y|ω)p(ω)dω

Donc,

p(θ|Y)=p(θ|Y,ω)p(Y|ω)p(ω)dωp(Y|ω)p(ω)dω

Shijia Bian
la source
1
Ce n'est pas une réponse à votre question, mais il est bon de se rappeler que, dans de nombreux cas, vous n'avez pas besoin d'utiliser des antécédents conjugués pour l'échantillonnage (cochez ici ).
Tim
2
Le théorème que vous citez n'est pas vrai. La version que vous décrivez concerne les a priori hiérarchiques, pas les a priori conjugués . Veuillez reformuler correctement votre question.
Xi'an
@ Xi'an Merci. Cette citation provient de l'article < statistics.stanford.edu/sites/default/files/EFS%20NSF%20207.pdf >. C'est au bas de la page 13.
Shijia Bian
2
Oh, vous avez oublié "l'approximation" et le "fini" dans la déclaration !!! "Tout a priori peut être approximé par un mélange fini de prieurs conjugués" est la bonne citation, l'approximation ne fonctionnant pas en termes de comportement de la queue.
Xi'an
1
@ Xi'an puis-je aussi avoir une autre question? Pourquoi devrions-nous toujours mettre l'accent sur le modèle de mélange "fini"? En d'autres termes, existe-t-il un modèle de mélange infini?
Shijia Bian

Réponses:

8

Le calcul direct des postérieurs avec des priors généraux / arbitraires peut être une tâche difficile.

En revanche, le calcul des postérieurs avec des mélanges de prieurs conjugués est relativement simple, puisqu'un mélange donné de priors devient le même mélange des postérieurs correspondants.

[Il existe également de nombreux cas où certains antérieurs donnés peuvent être assez bien approximés par un mélange fini de prieurs conjugués - cela permet une approche très facile à appliquer et pratique dans de nombreuses situations, ce qui conduit à des postérieurs approximatifs qui peuvent être rendus assez proches. à l'exact.]

Glen_b -Reinstate Monica
la source
2
Le point principal de Diaconis & Ylvisaker (1985) est en effet de montrer que les mélanges finis de conjugués sont (a) conjugués et (b) offrent plus de flexibilité que les conjugués originaux. Ils ont également besoin de plus d'informations préalables pour décider des hyperparamètres, c'est pourquoi ils ne sont pas beaucoup utilisés. Mais il n'est pas vrai que tout a priori soit un mélange de prieurs conjugués!
Xi'an
1

Pour étendre légèrement la réponse de @ Glen_b, une implication est que nous pouvons obtenir une approximation de forme fermée à la partie postérieure quand un a priori non conjugué est utilisé en rapprochant d'abord le a priori non conjugué avec un mélange de prieurs conjugués puis en résolvant directement pour le postérieure de l'approximation.

Cependant, en général, cette méthode semble assez délicate à utiliser. Bien qu'il soit vrai que vous pouvez rendre le mélange antérieur arbitrairement proche du précédent non conjugué, il y aura généralement une erreur dans toute approximation finie. De petites erreurs dans le prieur peuvent facilement se propager à d'énormes erreurs dans le postérieur. Par exemple, si l'a prior est bien approximé sauf sur les queues extrêmes, mais les données fournissent des preuves solides que les valeurs des paramètres sont dans les queues extrêmes, ces erreurs sur les queues extrêmes de l'a priori entraîneront des erreurs dans les régions à forte probabilité de la postérieur.

Cliff AB
la source