Un bon tutoriel d'échantillonnage Gibbs et des références

29

Je veux apprendre comment fonctionne Gibbs Sampling et je recherche un bon papier de base à intermédiaire. J'ai une formation en informatique et des connaissances statistiques de base.

Quelqu'un a lu du bon matériel? Où l'as-tu appris?

Merci

references gibbs fabrizioM
la source
2
googler "Gibbs échantillonnage" n'est pas un mauvais moyen d'obtenir une gamme de vues sur le sujet. Je pense que c'est une bonne façon de commencer, parce que vous avez tendance à l'aborder avec un "esprit sceptique" - vous ne pouvez pas prendre le mot googles pour acquis, vous devez donc trouver une gamme de vues. Bien sûr, vous aurez peut-être besoin d'une source fiable à un stade ultérieur lorsque vous essayez de l'implémenter. Mais commencer par la "source fiable" n'est pas toujours la meilleure idée, car ils peuvent être très attachés à une façon particulière de faire quelque chose - c'est-à-dire qu'ils connaissent la "bonne façon" et "tous les autres sont faux ou inefficaces".
probabilitéislogic
3
(+1) Les questions auxquelles Google peut facilement répondre ne sont généralement pas les bienvenues, mais celle-ci IMO tente de capitaliser sur la sagesse collective d'une communauté d'une manière que le classement Google ne peut pas faire. Il serait intéressant de voir quelles sources les gens ont vraiment trouvées utiles pour apprendre ce matériel.
whuber
4
C'est le problème. Google renvoie beaucoup trop de résultats et tous les articles ou tutoriels ne sont pas assez clairs.
fabrizioM

Réponses:

19

Je commencerais par:

Casella, George; George, Edward I. (1992). " Expliquer l'échantillonneur Gibbs ". The American Statistician 46 (3): 167-174. ( PDF GRATUIT )

Résumé : Les algorithmes à forte intensité informatique, tels que l'échantillonneur de Gibbs, sont devenus des outils statistiques de plus en plus populaires, tant dans les travaux appliqués que théoriques. Cependant, les propriétés de tels algorithmes peuvent parfois ne pas être évidentes. Ici, nous donnons une explication simple de comment et pourquoi l'échantillonneur Gibbs fonctionne. Nous établissons analytiquement ses propriétés dans un cas simple et fournissons un aperçu des cas plus compliqués. Il existe également un certain nombre d'exemples.

Le statisticien américain est souvent une bonne source pour de courts articles d'introduction (ish) qui ne supposent aucune connaissance préalable du sujet, bien qu'ils supposent que vous avez les antécédents en probabilités et en statistiques qui pourraient raisonnablement être attendus d'un membre de l' Américain. Association statistique .

un arrêt
la source
12

Un article en ligne qui m'a vraiment aidé à comprendre l'échantillonnage de Gibbs est l' estimation des paramètres pour l'analyse de texte par Gregor Heinrich. Ce n'est pas un tutoriel général d'échantillonnage de Gibbs mais il en parle en termes d'allocation de dirichlets latents, un modèle bayésien assez populaire pour la modélisation de documents. Cela entre dans les mathématiques assez en détail.

L'un des détails mathématiques encore plus exhaustifs est l' échantillonnage de Gibbs pour les non-initiés . Et je veux dire exhaustif en ce qu'il suppose que vous connaissez un calcul multivarié, puis expose chaque étape à partir de ce point. Donc, même s'il y a beaucoup de mathématiques, rien n'est avancé.

Je suppose que ceux-ci vous seront plus utiles que quelque chose qui dérive de résultats plus avancés, tels que ceux qui prouvent pourquoi l'échantillonnage de Gibbs converge vers la distribution correcte. Les références que je signale ne le prouvent pas.

JasonMond
la source
2

Le livre Monte Carlo Strategies in Scientific Computing est une excellente ressource. Il aborde les choses d'une manière mathématiquement rigoureuse, mais vous pouvez facilement ignorer les sections mathématiques qui ne vous intéressent pas et en tirer des tonnes de conseils pratiques. En particulier, il fait un bon travail en associant l'échantillonnage Metropolis-Hastings et Gibbs, ce qui est crucial. Dans la plupart des applications, vous devrez puiser dans une distribution postérieure à l'aide de l'échantillonnage de Gibbs, et il est donc utile de savoir comment il s'intègre dans la logique de Metropolis en général.

ely
la source