Algorithmes de Metropolis-Hastings utilisés dans la pratique

20

Je lisais aujourd'hui le blog de Christian Robert et j'aimais beaucoup le nouvel algorithme de Metropolis-Hastings dont il parlait. Cela semblait simple et facile à mettre en œuvre.

Chaque fois que je code MCMC, j'ai tendance à m'en tenir à des algorithmes MH très basiques, tels que des mouvements indépendants ou des marches aléatoires sur l'échelle logarithmique.

Quels algorithmes MH les gens utilisent-ils régulièrement? En particulier:

  • Pourquoi les utilisez-vous?
  • Dans un certain sens, vous devez penser qu'ils sont optimaux - après tout, vous les utilisez régulièrement! Alors, comment jugez-vous l'optimalité: facilité de codage, convergence, ...

Je suis particulièrement intéressé par ce qui est utilisé dans la pratique, c'est-à-dire lorsque vous codez vos propres schémas.

mcmc metropolis-hastings csgillespie
la source
Peut-être, CW? La question semble être un sondage sur ce que les gens utilisent. Comment définiriez-vous la «meilleure» réponse? J'avoue que je suis un peu flou quand appliquer CW. Alors, n'hésitez pas à ignorer ce commentaire si vous en pensez autrement.
1
Cela ne me dérangerait pas de laisser cela comme non-CW, surtout si Colin peut le reformuler légèrement pour permettre la possibilité d'une meilleure réponse. Cela dit, je ne peux pas imaginer comment faire ça ...
Shane
J'ai essayé de changer la question pour la rendre moins CW - je ne sais pas si j'ai réussi :( @Shane @Srikant si vous pensez toujours que ce devrait être un CW, n'hésitez pas à le changer.
csgillespie
On dirait que ce serait un bon document d'enquête!
Sean

Réponses:

2

Hybrid Monte Carlo est l'algorithme standard utilisé pour les réseaux de neurones. Échantillonnage de Gibbs pour la classification des processus gaussiens (lorsque vous n'utilisez pas à la place une approximation déterministe).

Dikran Marsupial
la source
2

L'échantillonnage MH est utilisé lorsqu'il est difficile d'échantillonner à partir de la distribution cible (par exemple, lorsque l'a priori n'est pas conjugué à la probabilité). Vous utilisez donc une distribution de proposition pour générer des échantillons et les accepter / rejeter en fonction de la probabilité d'acceptation. L' algorithme d' échantillonnage de Gibbs est un exemple particulier de MH où les propositions sont toujours acceptées. L'échantillonnage de Gibbs est l'un des algorithmes les plus couramment utilisés en raison de sa simplicité, mais il n'est pas toujours possible de l'appliquer, auquel cas on recourt à MH sur la base des propositions d'acceptation / rejet.

ébène1
la source
1

En physique, en particulier en physique statistique, les algorithmes de type Metropolis sont largement utilisés. Il y en a vraiment d'innombrables variantes, et les nouvelles sont activement développées. C'est un sujet beaucoup trop large pour donner une quelconque explication ici, donc si vous êtes intéressé, vous pouvez commencer par exemple à partir de ces notes de cours ou à partir de la page Web de la bibliothèque ALPS (http://alps.comp-phys.org/mediawiki).

ev-br
la source
Je me rends compte qu'il existe d'innombrables variantes de cet algorithme. Ce qui m'intéressait, c'était ceux que les gens utilisent régulièrement.
csgillespie
1

J'utilise un échantillonneur de tranches - proposé à l'origine par Neal (2003), que je règle par optimisation heuristique.

M. Tibbits
la source