Quand utiliserait-on l'échantillonnage de Gibbs au lieu de Metropolis-Hastings?

Il existe différents types d'algorithmes MCMC:

• Metropolis-Hastings
• Gibbs
• Échantillonnage d'importance / rejet (lié).

Pourquoi utiliser un échantillonnage de Gibbs au lieu de Metropolis-Hastings? Je soupçonne qu'il y a des cas où l'inférence est plus traitable avec l'échantillonnage de Gibbs qu'avec Metropolis-Hastings, mais je ne suis pas clair sur les détails.

Tout d'abord, permettez-moi de noter [un peu de façon pédante] que

Il existe plusieurs types d'algorithmes MCMC: Metropolis-Hastings, Gibbs, échantillonnage d'importance / rejet (liés).

$f$$\omega$$f$$f$$f$

Deuxièmement, la question

Pourquoi est-ce que quelqu'un irait avec l'échantillonnage de Gibbs au lieu de Metropolis-Hastings? Je soupçonne qu'il y a des cas où l'inférence est plus traitable avec l'échantillonnage de Gibbs qu'avec Metropolis-Hastings

n'a pas de réponse dans la mesure où un échantillonneur Metropolis-Hastings peut être presque n'importe quoi, y compris un échantillonneur Gibbs. J'ai répondu en termes assez détaillés à une question antérieure et similaire. Mais permettez-moi d'ajouter ici quelques points redondants:

La principale raison pour laquelle l'échantillonnage de Gibbs a été introduit était de briser le fléau de la dimensionnalité (qui affecte à la fois le rejet et l'échantillonnage d'importance) en produisant une séquence de simulations de faible dimension qui convergent toujours vers la bonne cible. Même si la dimension de la cible impacte la vitesse de convergence. Les échantillonneurs Metropolis-Hastings sont conçus pour créer une chaîne de Markov (comme l'échantillonnage de Gibbs) basée sur une proposition (comme l'importance et l'échantillonnage de rejet) en corrigeant la mauvaise densité par une étape d'acceptation-rejet. Mais un point important est qu'ils ne sont pas opposés: à savoir, l'échantillonnage de Gibbs peut nécessiter des étapes de Metropolis-Hastings face à des cibles conditionnelles complexes si de faible dimension, tandis que les propositions de Metropolis-Hastings peuvent être construites sur des approximations des conditionnelles complètes (Gibbs). Dans une définition formelle, L'échantillonnage de Gibbs est un cas particulier de l'algorithme Metropolis-Hasting avec une probabilité d'acceptation de un. (Soit dit en passant, je m'oppose à l'utilisation deinférence dans cette citation, comme je le réserverais à des fins statistiques , alors que ces échantillonneurs sont des appareils numériques .)

Habituellement, l'échantillonnage de Gibbs [compris comme exécutant une séquence de simulations conditionnelles de faible dimension] est privilégié dans les environnements où la décomposition en ces conditions est facile à mettre en œuvre et rapide à exécuter. Dans les contextes où de telles décompositions induisent la multimodalité et donc une difficulté à se déplacer entre les modes (des modèles de variables latentes comme les modèles de mélange viennent à l'esprit), l'utilisation d'une proposition plus globale dans un algorithme Metropolis-Hasting peut produire une efficacité plus élevée. Mais l'inconvénient réside dans le choix de la distribution de la proposition dans l'algorithme Metropolis-Hasting.