J'ai du mal à comprendre dans quelle situation l'approche MCMC est réellement utile. Je passe par un exemple de jouet du livre de Kruschke "Faire l'analyse des données bayésiennes: un tutoriel avec R et BUGS".
Ce que j'ai compris jusqu'à présent, c'est que nous avons besoin d'une distribution cible qui est proportionnelle à afin d'avoir un échantillon de P ( θ | D ) . Cependant, il me semble qu'une fois que nous avons p ( D | θ ) p il suffit de normaliser la distribution pour obtenir le postérieur, et le facteur de normalisation peut être facilement trouvé numériquement. Alors, quels sont les cas où cela n'est pas possible?
Réponses:
L'intégration de Monte Carlo est une forme d'intégration numérique qui peut être beaucoup plus efficace que, par exemple, l'intégration numérique en rapprochant l'intégrande avec des polynômes. Cela est particulièrement vrai dans les dimensions élevées, où les techniques d'intégration numérique simples nécessitent un grand nombre d'évaluations de fonctions. Pour calculer la constante de normalisationp ( D ) , nous pourrions utiliser un échantillonnage d'importance ,
où et les θ n sont échantillonnés à partir de q . Notez que nous avons seulement besoin d'évaluer la distribution conjointe aux points échantillonnés. Pour le bon q , cet estimateur peut être très efficace dans le sens où il nécessite très peu d'échantillons. En pratique, choisir un q appropriéwn= 1 / q( θn) θn q q q peut être difficile, mais c'est là que MCMC peut vous aider! L'échantillonnage d'importance recuit (Neal, 1998) combine la MCMC avec l'échantillonnage d'importance.
Une autre raison pour laquelle MCMC est utile est la suivante: nous ne sommes généralement même pas très intéressés par la densité postérieure de , mais plutôt par des statistiques sommaires et des attentes , par exemple,θ
Connaître ne signifie généralement pas que nous pouvons résoudre cette intégrale, mais les échantillons sont un moyen très pratique de l'estimer.p(D)
Enfin, être en mesure d'évaluer est une exigence pour certaines méthodes MCMC, mais pas pour toutes (par exemple, Murray et al., 2006 ).p(D∣θ)p(θ)
la source
Les méthodes MCMC ont donné une portée beaucoup plus large aux méthodes bayésiennes, comme l'illustre la recrudescence qui a suivi la vulgarisation de la méthode par Alan Gelfand et Adrian Smith en 1990.
la source