Les algorithmes d'apprentissage automatique ou d'apprentissage profond peuvent-ils être utilisés pour «améliorer» le processus d'échantillonnage d'une technique MCMC?

Sur la base du peu de connaissances que j'ai sur les méthodes MCMC (Markov chain Monte Carlo), je comprends que l'échantillonnage est une partie cruciale de la technique susmentionnée. Les méthodes d'échantillonnage les plus couramment utilisées sont l'hamiltonien et la métropole.

Existe-t-il un moyen d'utiliser l'apprentissage automatique ou même l'apprentissage en profondeur pour construire un échantillonneur MCMC plus efficace?

Oui. Contrairement à ce que disent les autres réponses, les méthodes d'apprentissage machine «typiques» telles que les paramètres non paramétriques et les réseaux de neurones (profonds) peuvent aider à créer de meilleurs échantillonneurs MCMC.

Le but du MCMC est de prélever des échantillons à partir d'une distribution cible (non normalisée) . Les échantillons obtenus sont utilisés pour approximer f et permettent principalement de calculer les attentes de fonctions sous f (c'est-à-dire d'intégrales de grande dimension) et, en particulier, les propriétés de f (telles que les moments).$f(x)$$f$$f$$f$

L'échantillonnage nécessite généralement un grand nombre d'évaluations de , et éventuellement de son gradient, pour des méthodes telles que le Hamiltonian Monte Carlo (HMC). Si f est coûteux à évaluer ou si le gradient n'est pas disponible, il est parfois possible de créer une fonction de substitution moins coûteuse qui peut aider à guider l'échantillonnage et est évaluée à la place de f (d'une manière qui préserve toujours les propriétés de MCMC).$f$$f$$f$

Par exemple, un article séminal ( Rasmussen 2003 ) propose d'utiliser des processus gaussiens (une approximation de fonction non paramétrique) pour construire une approximation pour et effectuer HMC sur la fonction de substitution, avec seulement l'étape d'acceptation / rejet de HMC basée sur f . Cela réduit le nombre d'évaluation du f d' origine et permet d'effectuer MCMC sur des pdfs qui seraient autrement trop chers à évaluer.$\log f$$f$$f$

L'idée d'utiliser des substituts pour accélérer MCMC a été beaucoup explorée au cours des dernières années, essentiellement en essayant différentes façons de construire la fonction de substitution et de la combiner efficacement / de manière adaptative avec différentes méthodes MCMC (et d'une manière qui préserve la `` justesse ''). 'd'échantillonnage MCMC). En relation avec votre question, ces deux articles très récents utilisent des techniques avancées d'apprentissage automatique - réseaux aléatoires ( Zhang et al.2015 ) ou fonctions exponentielles du noyau apprises de manière adaptative ( Strathmann et al.2015 ) - pour construire la fonction de substitution.

$t$

$f$

Les références:

1. Rasmussen, Carl Edward. "Des processus gaussiens pour accélérer le Monte Carlo hybride pour les intégrales bayésiennes coûteuses." Statistiques bayésiennes 7. 2003.

2. Zhang, Cheng, Babak Shahbaba et Hongkai Zhao. "Hamiltonian Monte Carlo Acceleration using Surrogate Functions with Random Bases." préimpression arXiv arXiv: 1506.05555 (2015).

3. Strathmann, Heiko et al. "Hamiltonien Monte-Carlo sans gradient avec des familles exponentielles de noyau efficaces." Progrès dans les systèmes de traitement de l'information neuronale. 2015.

4. Nishihara, Robert, Iain Murray et Ryan P. Adams. "MCMC parallèle avec échantillonnage de tranche elliptique généralisé." Journal of Machine Learning Research 15.1 (2014): 2087-2112.

Une méthode qui pourrait relier les deux concepts est celle d'un algorithme multivarié de Metropolis Hastings. Dans ce cas, nous avons une distribution cible (la distribution postérieure) et une distribution de proposition (typiquement une distribution multivariée normale ou t).

Un fait bien connu est que plus la distribution de la proposition est éloignée de la distribution postérieure, moins l'échantillonneur est efficace. On pourrait donc imaginer utiliser une sorte de méthode d'apprentissage automatique pour construire une distribution de proposition qui correspond mieux à la vraie distribution postérieure qu'une simple distribution multivariée normale / t.

Cependant, il n'est pas clair que ce serait une amélioration de l'efficacité. En suggérant l'apprentissage en profondeur, je suppose que vous pourriez être intéressé à utiliser une sorte d'approche de réseau neuronal. Dans la plupart des cas, cela coûterait beaucoup plus cher en calcul que la méthode MCMC vanille elle-même. De même, je ne connais aucune raison pour laquelle les méthodes NN (ou même la plupart des méthodes d'apprentissage automatique) font un bon travail pour fournir une densité adéquate en dehors de l'espace observé, crucial pour MCMC. Donc, même en ignorant les coûts de calcul associés à la construction du modèle d'apprentissage automatique, je ne vois pas de bonne raison pour laquelle cela améliorerait l'efficacité d'échantillonnage.

Le Machine Learning concerne la prédiction, la classification ou le clustering dans un environnement supervisé ou non supervisé. D'un autre côté, MCMC se préoccupe simplement d'évaluer un complexe complexe (généralement sans forme fermée) à l'aide de méthodes numériques probabilistes. L'échantillonnage Metropolis n'est certainement pas l'approche la plus couramment utilisée. En fait, c'est la seule méthode MCMC à ne pas avoir de composante probabiliste. Dans ce cas, ML n'informera donc rien de MCMC.

L' importance échantillonnage basé sur le fait besoin d' une composante probabiliste. Il est plus efficace que Metropolis selon certaines hypothèses de base. Les méthodes ML peuvent être utilisées pour estimer cette composante probabiliste si elle rejoint certaines hypothèses. Des exemples pourraient être un regroupement multivarié pour estimer une densité gaussienne complexe de haute dimension. Je ne connais pas les approches non paramétriques de ce problème, mais cela pourrait être un domaine de développement intéressant.

Néanmoins, ML me semble être une étape distincte dans le processus d'estimation d'un modèle de probabilité complexe de grande dimension qui est ensuite utilisé dans une méthode numérique. Je ne vois pas comment ML améliore vraiment MCMC dans ce cas.

Il y a eu des travaux récents en physique computationnelle où les auteurs ont utilisé les machines Boltzmann restreintes pour modéliser la distribution de probabilité, puis proposer (espérons-le) des mises à jour Monte Carlo efficaces arXiv: 1610.02746 . L'idée ici s'avère être assez similaire aux références données par @lacerbi ci-dessus.

Dans une autre tentative 1702.08586 , l'auteur a explicitement construit Boltzmann Machines qui peut effectuer (et même découvrir) les célèbres mises à jour du cluster Monte Carlo .