Puis-je changer la distribution des propositions dans MH MCMC à marche aléatoire sans affecter la Markovianité?

Randonnée aléatoire Metropolis-Hasitings avec proposition symétrique

$q(x|y)= g(|y-x|)$ a la propriété que la probabilité d'acceptation

ne dépend pas de la proposition $g(\cdot)$ .

Est-ce à dire que je peux changer le $g(\cdot)$ en fonction des performances précédentes de la chaîne, sans affecter la markovianité de la chaîne?

Un intérêt particulier pour moi est l'ajustement de la mise à l'échelle de la proposition normale en fonction du taux d'acceptation.

Serait également très reconnaissant si quelqu'un pouvait signaler les algorithmes d'adaptation utilisés dans la pratique pour ce type de problème.

Merci beaucoup.

[edit: En commençant par les références données par robertsy et wok, j'ai trouvé les références suivantes sur les algorithmes adaptatifs MH:

Andrieu, Christophe et Éric Moulines. 2006.
Sur les propriétés d'ergodicité de certains algorithmes MCMC adaptatifs. Les annales de la probabilité appliquée 16, no. 3: 1462-1505. http://www.jstor.org/stable/25442804 .

Andrieu, Christophe et Johannes Thoms.
2008. Un tutoriel sur MCMC adaptatif. Statistiques et informatique 18, no. 4 (12): 343-373. doi: 10.1007 / s11222-008-9110-y. http://www.springerlink.com/content/979087678366r78v/ .

Atchadé, Y., G. Fort, E. Moulines et P. Priouret. 2009.
Chaîne de Markov adaptative Monte Carlo: Théorie et méthodes. Préimpression.

Atchadé, Yves. 2010.
Théorèmes limites pour certains algorithmes MCMC adaptatifs avec noyaux sous-géométriques. Bernoulli 16, no. 1 (février): 116-154. doi: 10.3150 / 09-BEJ199. http://projecteuclid.org/DPubS?verb=Display&version=1.0&service=UI&handle=euclid.bj/1265984706&page=record .

Cappé, O., S. J Godsill et E. Moulines. 2007.
Un aperçu des méthodes existantes et des avancées récentes du Monte Carlo séquentiel. Actes de l'IEEE 95, no. 5: 899-924.

Giordani, Paolo. 2010.
Adaptive Independent Metropolis – Hastings par estimation rapide de mélanges de normales. Journal of Computational and Graphical Statistics 19, no. 2 (6): 243-259. doi: 10.1198 / jcgs.2009.07174. http://pubs.amstat.org/doi/abs/10.1198/jcgs.2009.07174 .

Latuszynski, Krzysztof, Gareth O Roberts et Jeffrey S Rosenthal. 2011.
Échantillonneurs adaptatifs de Gibbs et méthodes MCMC associées. 1101.5838 (30 janvier). http://arxiv.org/abs/1101.5838 .

Pasarica, C. et A. Gelman. 2009.
Mise à l'échelle adaptative de l'algorithme Metropolis à l'aide de la distance au saut quadratique prévue. Statistica Sinica.

Roberts, Gareth O. 2009.
Exemples de MCMC adaptatif. Journal of Computational and Graphical Statistics 18, no. 2 (6): 349-367. doi: 10.1198 / jcgs.2009.06134. http://pubs.amstat.org/doi/abs/10.1198/jcgs.2009.06134 .

]

Je pense que cet article de Heikki Haario et al. vous donnera la réponse dont vous avez besoin. La markovianité de la chaîne est affectée par l'adaptation de la densité de la proposition, car alors une nouvelle valeur proposée dépend non seulement de la précédente mais de toute la chaîne. Mais il semble que la séquence ait encore les bonnes propriétés si on y prend grand soin.

Vous pouvez améliorer le taux d'acceptation en utilisant un rejet différé comme décrit dans Tierney, Mira (1999) . Elle est basée sur une seconde fonction de proposition et une seconde probabilité d'acceptation , ce qui garantit que la chaîne de Markov est toujours réversible avec la même distribution invariante: il faut être prudent car " il est facile de construire des méthodes adaptatives qui peuvent sembler fonctionner mais en fait échantillon de la mauvaise distribution ".

Les approches suggérées par les utilisateurs wok et robertsy couvrent les exemples les plus fréquemment cités de ce que vous recherchez que je sache. Juste pour développer ces réponses, Haario et Mira ont écrit un article en 2006 qui combine les deux approches, une approche qu'ils appellent DRAM (Metropolis adaptative à rejet retardé) .

Andrieu a un bon traitement de différentes approches MCMC adaptatives différentes (pdf) qui couvre Haario 2001 mais discute également des différentes alternatives qui ont été proposées ces dernières années.

C'est un peu une fiche éhontée d'une de mes publications, mais nous faisons exactement cela dans ce travail ( arxiv ). Entre autres choses, nous proposons d'adapter la variance de la distribution exponentielle pour améliorer l'acceptation (étape S3.2 dans l'algorithme de l'article).

Dans notre cas, asymptotiquement, l'adaptation ne change pas la distribution de la proposition (ce qui est dans le cas lorsque ). Ainsi, asymptotiquement, le processus est toujours markovien dans le même esprit que l' algorithme de Wang-Landau . Nous vérifions numériquement que le processus est ergodique et les échantillons de chaîne de la distribution cible que nous choisissons (par exemple, panneau inférieur gauche de la figure 4).$f \rightarrow 1$

Nous n'utilisons pas d'informations sur le taux d'acceptation, mais nous obtenons une acceptation indépendante de la quantité qui nous intéresse (équivalente à l'énergie d'un système de spin, en bas à droite de la figure 4).