Taux d'acceptation pour Metropolis-Hastings avec répartition uniforme des candidats

Lors de l'exécution de l'algorithme Metropolis-Hastings avec des distributions de candidats uniformes, quelle est la raison d'avoir des taux d'acceptation autour de 20%?

Ma pensée est la suivante: une fois que les valeurs de paramètre vraies (ou presque vraies) sont découvertes, aucun nouvel ensemble de valeurs de paramètres candidats du même intervalle uniforme n'augmenterait la valeur de la fonction de vraisemblance. Par conséquent, plus j'exécute d'itérations, plus les taux d'acceptation que je dois obtenir sont faibles.

Où ai-je tort dans cette pensée? Merci beaucoup!

Voici l'illustration de mes calculs:

$$Acceptance\_rate = \exp \{l(\theta_c|y) + \log(p(\theta_c)) - [l(\theta^*|y) + \log(p(\theta^*) ]\},$$

où est la log-vraisemblance.$l$

Comme candidats sont toujours pris dans le même intervalle uniforme,$\theta$

$$p(\theta_c) = p(\theta^*).$$

Par conséquent, le calcul du taux d'acceptation se réduit à:

$$Acceptance\_rate = \exp \{l(\theta_c | y) - [l(\theta^* | y) ]\}$$

La règle d'acceptation de est alors la suivante:$\theta_c$

Si , où est tiré de la distribution uniforme dans l'intervalle , alors$U \le Acceptance\_rate$$U$$[0,1]$

$$\theta^* = \theta_c,$$

sinon dessiner partir d'une distribution uniforme dans l'intervalle$\theta_c$$[\theta_{min}, \theta_{max}]$

Je crois que la faible convergence et la mise à l'échelle optimale des algorithmes Metropolis à marche aléatoire de Roberts, Gelman et Gilks ​​sont à l'origine du taux d'acceptation optimal de 0,234.

Ce que le document montre, c'est que, sous certaines hypothèses, vous pouvez mettre à l'échelle l'algorithme de marche aléatoire Metropolis-Hastings lorsque la dimension de l'espace va à l'infini pour obtenir une diffusion limite pour chaque coordonnée. Dans la limite, la diffusion peut être considérée comme "la plus efficace" si le taux d'acceptation prend la valeur 0,234. Intuitivement, c'est un compromis entre faire de nombreuses petites étapes acceptées et faire de nombreuses grandes propositions qui sont rejetées.

L'algorithme de Metropolis-Hastings n'est pas vraiment un algorithme d'optimisation, contrairement au recuit simulé. Il s'agit d'un algorithme censé simuler à partir de la distribution cible, donc la probabilité d'acceptation ne doit pas être dirigée vers 0.

Juste pour ajouter à répondre par @NRH. L'idée générale suit le principe Goldilocks :

• Si les sauts sont "trop ​​grands", alors la chaîne colle;
• Si les sauts sont "trop ​​petits", alors la chaîne explore l'espace des paramètres très lentement;
• Nous voulons que les sauts soient parfaits.

Bien sûr, la question est de savoir ce que nous entendons par «juste ce qu'il faut». Essentiellement, pour un cas particulier, ils minimisent la distance de saut carré attendue. Cela revient à minimiser les autocorrélations lag-1. Récemment, Sherlock et Roberts ont montré que la magie 0,234 est valable pour d'autres distributions cibles:

C. Sherlock, G. Roberts (2009); Mise à l'échelle optimale de la marche aléatoire Metropolis sur des cibles unimodales elliptiquement symétriques ; Bernoulli 15 (3)

J'ajoute ceci comme réponse parce que je n'ai pas assez de réputation pour commenter sous la question. Je pense que vous êtes confus entre le taux d' acceptation et le taux d' acceptation .

1. Le taux d'acceptation est utilisé pour décider d'accepter ou de rejeter un candidat. Le ratio que vous appelez taux d'acceptation est en fait appelé ratio d'acceptation et il est différent du taux d'acceptation.
2. Le taux d'acceptation est le taux d'acceptation des candidats. Il s'agit du rapport entre le nombre de valeurs uniques dans la chaîne MCMC et le nombre total de valeurs dans la chaîne MCMC.

Maintenant, votre doute que le taux d'acceptation optimal soit de 20% concerne en réalité le taux d'acceptation réel, pas le taux d'acceptation. La réponse est donnée dans les autres réponses. Je voulais juste souligner la confusion que vous avez.