Échantillonnage de Gibbs par rapport au MH-MCMC général

Je viens de faire quelques lectures sur l'échantillonnage de Gibbs et l'algorithme de Metropolis Hastings et j'ai quelques questions.

Si je comprends bien, dans le cas de l'échantillonnage de Gibbs, si nous avons un problème multivarié important, nous échantillonnons à partir de la distribution conditionnelle, c'est-à-dire échantillonnons une variable tout en gardant toutes les autres fixes tandis qu'en MH, nous échantillonnons à partir de la distribution conjointe complète.

Une chose que le document a dit est que l'échantillon proposé est toujours accepté dans Gibbs Sampling, c'est-à-dire que le taux d'acceptation de la proposition est toujours 1. Pour moi, cela semble être un grand avantage car pour les gros problèmes multivariés, il semble que le taux de rejet pour l'algorithme MH devienne assez grand. . Si tel est effectivement le cas, quelle est la raison derrière ne pas utiliser Gibbs Sampler tout le temps pour générer la distribution postérieure?

la principale justification de l'utilisation de l'algorithme de Metropolis réside dans le fait que vous pouvez l'utiliser même lorsque le postérieur résultant est inconnu. Pour l'échantillonnage de Gibbs, vous devez connaître les distributions postérieures dont vous tirez les variations.

L'échantillonnage de Gibbs brise la malédiction de la dimensionnalité dans l'échantillonnage puisque vous avez divisé l'espace des paramètres (éventuellement de dimension élevée) en plusieurs étapes de faible dimension. Metropolis-Hastings atténue certains des problèmes dimensionnels liés à la génération de techniques d'échantillonnage de rejet, mais vous échantillonnez toujours à partir d'une distribution multivariée complète (et décidez d'accepter / rejeter l'échantillon), ce qui fait que l'algorithme souffre de la malédiction de la dimensionnalité.

Pensez-y de cette manière simplifiée: il est beaucoup plus facile de proposer une mise à jour pour une variable à la fois (Gibbs) que pour toutes les variables simultanément (Metropolis Hastings).

Cela étant dit, la dimensionnalité de l'espace des paramètres affectera toujours la convergence dans Gibbs et Metropolis Hastings car il y a plus de paramètres qui pourraient ne pas converger.

Gibbs est également agréable car chaque étape de la boucle Gibbs peut être sous forme fermée. C'est souvent le cas dans les modèles hiérarchiques où chaque paramètre n'est conditionné que par quelques autres. Il est souvent assez simple de construire votre modèle pour que chaque étape de Gibbs soit sous forme fermée (lorsque chaque étape est conjuguée, elle est parfois appelée "semi-conjugué"). C'est bien parce que vous échantillonnez à partir de distributions connues qui peuvent souvent être très rapides.