Un type spécial d'algorithme de Markov Chain Monte Carlo (MCMC) utilisé pour simuler à partir de distributions de probabilités complexes. Il est validé par la théorie des chaînes de Markov et offre un large éventail d'implémentations possibles.
J'ai essayé d'apprendre les méthodes MCMC et j'ai découvert l'échantillonnage de Hastings, Gibbs, Importance et Reject dans Metropolis. Certaines de ces différences sont évidentes, c’est-à-dire que Gibbs est un cas particulier de Metropolis Hastings lorsque nous avons les conditions complètes,...
Lorsque je code une simulation Monte Carlo pour un problème et que le modèle est assez simple, j'utilise un échantillonnage Gibbs très basique. Lorsqu'il n'est pas possible d'utiliser l'échantillonnage de Gibbs, je code le manuel Metropolis-Hastings que j'ai appris il y a des années. La seule...
Je lisais aujourd'hui le blog de Christian Robert et j'aimais beaucoup le nouvel algorithme de Metropolis-Hastings dont il parlait. Cela semblait simple et facile à mettre en œuvre. Chaque fois que je code MCMC, j'ai tendance à m'en tenir à des algorithmes MH très basiques, tels que des mouvements...
Il existe différents types d'algorithmes MCMC: Metropolis-Hastings Gibbs Échantillonnage d'importance / rejet (lié). Pourquoi utiliser un échantillonnage de Gibbs au lieu de Metropolis-Hastings? Je soupçonne qu'il y a des cas où l'inférence est plus traitable avec l'échantillonnage de Gibbs qu'avec...
Je viens de faire quelques lectures sur l'échantillonnage de Gibbs et l'algorithme de Metropolis Hastings et j'ai quelques questions. Si je comprends bien, dans le cas de l'échantillonnage de Gibbs, si nous avons un problème multivarié important, nous échantillonnons à partir de la distribution...
Je lis sur MCMC adaptatif (voir par exemple, le chapitre 4 du Handbook of Markov Chain Monte Carlo , éd. Brooks et al., 2011; et aussi Andrieu et Thoms, 2008 ). nnnp ( n )p(n)p(n)limn → ∞p ( n ) = 0limn→∞p(n)=0\lim_{n \rightarrow \infty} p(n) = 0 Ce résultat est (a posteriori) intuitif,...
Je parcourais la documentation de Stan qui peut être téléchargée ici . J'étais particulièrement intéressé par leur implémentation du diagnostic Gelman-Rubin. Le document original Gelman & Rubin (1992) définit le facteur de réduction d'échelle potentiel (PSRF) comme suit: Soit...
Supposons que j'ai une fonction g(x)g(x)g(x) que je souhaite intégrer ∫∞−∞g(x)dx.∫−∞∞g(x)dx. \int_{-\infty}^\infty g(x) dx. Bien sûr, en supposant que g(x)g(x)g(x) passe à zéro aux points d'extrémité, pas d'explosions, belle fonction. Une façon avec laquelle j'ai joué est d'utiliser l'algorithme...
Au cours des dernières semaines, j'ai essayé de comprendre MCMC et les algorithmes de Metropolis-Hastings. Chaque fois que je pense le comprendre, je me rends compte que je me trompe. La plupart des exemples de code que je trouve en ligne implémentent quelque chose qui n'est pas cohérent avec la...
Randonnée aléatoire Metropolis-Hasitings avec proposition symétrique q( x | y) = g( | y- x | )q(X|y)=g(|y-X|)q(x|y)= g(|y-x|) a la propriété que la probabilité d'acceptation P( a c c e p t y ) = min { 1 , f( y) / f( x ) }P(uneccept y)=min{1,F(y)/F(X)}P(accept\ y) = \min\{1, f(y)/f(x)\} ne dépend...
J'ai essayé de comprendre l'algorithme de Metropolis-Hastings afin d'écrire un code pour estimer les paramètres d'un modèle (ie F( x ) = a ∗ xF(X)=une∗Xf(x)=a*x ). Selon la bibliographie, l'algorithme de Metropolis-Hastings comprend les étapes suivantes: Générer Ouit∼ q( y| Xt)Ouit∼q(y|Xt)Y_t \sim...
Au cours des derniers jours, j'ai essayé de comprendre comment fonctionne Markov Chain Monte Carlo (MCMC). En particulier, j'ai essayé de comprendre et de mettre en œuvre l'algorithme Metropolis-Hastings. Jusqu'à présent, je pense que j'ai une compréhension globale de l'algorithme, mais il y a...
J'ai besoin de faire une simulation pour évaluer une intégrale d'une fonction à 3 paramètres, disons , qui a une formule très compliquée. Il est demandé d'utiliser la méthode MCMC pour le calculer et de mettre en œuvre l'algorithme Metropolis-Hastings pour générer les valeurs distribuées comme , et...
Le mgcvpackage pour Ra deux fonctions pour ajuster les interactions des produits tensoriels: te()et ti(). Je comprends la division de base du travail entre les deux (ajustement d'une interaction non linéaire vs décomposition de cette interaction en effets principaux et interaction). Ce que je ne...
Je suis tombé sur le problème de simulation suivant: étant donné un ensemble de nombres réels connus, une distribution sur est définie par où désigne la partie positive de . Bien que je puisse penser à un échantillonneur Metropolis-Hastings ciblant cette distribution, je me demande s'il existe un...
Je suis tombé sur cet article où il est dit que dans l'échantillonnage de Gibbs, chaque échantillon est accepté. Je suis un peu confus. Comment se fait-il que chaque échantillon qu'il a accepté converge vers une distribution stationnaire. En général, nous acceptons l'algorithme Metropolis comme min...
Dans l'algorithme Metropolis – Hastings d'échantillonnage d'une distribution cible, supposons: πjeπi\pi_{i} soit la densité cible à l'état ,jeii πjπj\pi_j la densité cible à l'état proposé ,jjj hje jhijh_{ij} la densité de proposition pour la transition vers l'état étant donné l'état actuel...
J'ai essayé de simuler à partir d'une densité bivariée utilisant les algorithmes de Metropolis dans R et je n'ai pas eu de chance. La densité peut être exprimée comme , où est la distribution de Singh-Maddalap ( x , y)p(X,y)p(x,y)p ( y| x)p(x)p(y|X)p(X)p(y|x)p(x)p ( x )p(X)p(x) p ( x ) = a qXa -...
Dans la chaîne de Metropolis-Hastings Markov Monte Carlo, la distribution de la proposition peut être n'importe quoi, y compris le gaussien (selon Wikipedia). Q: Quelle est la motivation pour utiliser autre chose que le gaussien? Le gaussien fonctionne, c'est facile à évaluer, c'est rapide et tout...
Dans une implémentation MCMC de modèles hiérarchiques, avec des effets aléatoires normaux et un Wishart antérieur pour leur matrice de covariance, l'échantillonnage de Gibbs est généralement utilisé. Cependant, si nous changeons la distribution des effets aléatoires (par exemple, vers Student's-t...