MCMC dans un cadre fréquentiste

J'ai essayé d'avoir une idée des différents problèmes dans les environnements fréquentistes où MCMC est utilisé. Je sais que MCMC (ou Monte Carlo) est utilisé pour ajuster les GLMM et peut-être dans les algorithmes EM Monte Carlo. Y a-t-il des problèmes plus fréquentistes lorsque MCMC est utilisé?

mcmc monte-carlo expectation-maximization metropolis-hastings frequentist Greenparker
la source

Lorsqu'un modèle bayésien peut également être interprété comme un modèle fréquentiste (par exemple, tous les prieurs sont plats), le mode postérieur est le MLE. Donc, vous pouvez utiliser MCMC pour faire MLE, bien que ce ne soit pas un très bon moyen de le faire.

Kodiologist

@ Kodiologist Sure. Bien qu'il soit probable que nous nous intéressions à la moyenne postérieure (si nous travaillons sous la fonction de perte des moindres carrés), nous n'essaierons même pas de trouver le MLE. Mais je vois ce que tu veux dire.

Greenparker

@ Kodiologist mais pourquoi fréquentiste ferait ça? Tout d'abord, cela entraînerait de multiples problèmes conceptuels (en supposant que le paramètre est rv, comment interpréter les IDH, etc.). Deuxièmement, si le fréquentiste l'utiliserait simplement au lieu d'un algorithme d'optimisation pour trouver une estimation ponctuelle, pourquoi le ferait-il car c'est un moyen très inefficace si vous ne recherchez qu'une estimation ponctuelle ...

Tim

Je suis tombé sur cela par accident, mais j'ai pensé que c'était un sujet utile. Si je ne me trompe pas, les méthodes de monte carlo concernent généralement l'échantillonnage à partir d'une distribution cible à partir de laquelle on peut ou non échantillonner directement. Le décalage entre Bayesian et Frequentist est l'interprétation des données car les VR ou les paramètres sont des VR (comme indiqué par @Tim). Il me semble donc que les méthodes MC ne sont ni "bayésiennes" ni "fréquentistes". C'est plutôt la philosophie appliquée à leur utilisation qui crée une distinction. Serait-ce une évaluation correcte?

Jon

@Greenparker, donc en MC classique, vous pouvez avoir la situation où et est une distribution instrumentale. Si je suis dans votre logique, l'échantillonnage (direct) de n'est ni bayésien ni fréquentiste, mais l'utilisation de la moyenne empirique en ferait alors un estimateur fréquentiste. Cette interprétation de votre logique est-elle correcte?

E [h (x)] = \int h (x) f (x) d x \approx \frac{1}{n} \sum^{n} x_{i}

$E[h(x)] = \int h(x) f(x) dx \approx \frac{1}{n}\sum^n x_i$

x_{i} \sim f

$x_i \sim f$

f

$f$

f

$f$

Jon

Réponses:

Comme indiqué dans les nombreux commentaires, Markov Chain Monte Carlo est un cas particulier de la méthode de Monte Carlo, qui est conçue pour approximer les quantités liées à une distribution via la simulation de nombres pseudo-aléatoires. En tant que tel, il n'a aucun lien avec un paradigme statistique particulier et les premiers exemples de la méthode, comme dans Metropolis et al. (1953), n'étaient pas liés aux statistiques, bayésiennes ou fréquentistes. Si quoi que ce soit, ces méthodes sont naturellement "fréquentistes" (une catégorie mal définie de toute façon) en ce qu'elles reposent sur la stabilisation des fréquences ou des moyennes vers l'attente à mesure que le nombre de simulations augmente, alias la loi des grands nombres.

Il est donc possible au sein de problèmes complexes non bayésiens d'utiliser des méthodes MCMC pour remplacer des intégrales intraitables. Vérifiez par exemple

l'optimisation des vraisemblances sans expressions de forme fermée, comme dans les modèles à variables latentes et à effets aléatoires. L'algorithme EM peut ne pas fonctionner en raison d'une étape "E" insoluble, auquel cas l'attente doit être remplacée par une approximation Monte Carlo ou Monte Carlo de Markov Chain . Avec une éventuelle évaluation de l'erreur. Ou il peut ne pas fonctionner en raison d'une étape "M" insoluble, auquel cas la maximisation peut parfois être remplacée par une procédure de maximisation markovienne comme dans le recuit simulé . Ou en utilisant les étapes Gibbs .
méthodes d'inférence simulées en économétrie, comme la méthode simulée des moments , inférence indirecte , vraisemblance empirique .
approximations de vraisemblances avec des constantes de normalisation insolubles telles que Ising, Potts et d'autres modèles de champs aléatoires de Markov, en utilisant par exemple des algorithmes d'échange .
tests de qualité d'ajustement fréquentistes , qui peuvent nécessiter des calculs de probabilités de couverture, $p$ _valeurs , pouvoirs, pour des statistiques suffisantes ou insuffisantes sans densité de forme fermée, ou conditionnelles à des statistiques auxiliaires. Prenons l'exemple du test d'indépendance dans les (grandes) tables de contingence (ou la dérivation de l'estimateur du maximum de vraisemblance ).
encore en économétrie, estimateurs de type Laplace , "qui incluent les moyennes et les quantiles de distributions quasi-postérieures définies comme des transformations de fonctions générales de critères statistiques non basées sur la vraisemblance, telles que celles de GMM, IV non linéaire, vraisemblance empirique et méthodes de distance minimale" (Chernozhukov et Hong, 2003), s'appuient sur des algorithmes MCMC.

Xi'an
la source