Quel est le lien entre la chaîne Markov et la chaîne Markov Monte Carlo

J'essaie de comprendre les chaînes de Markov en utilisant SAS. Je comprends qu'un processus de Markov est un processus dans lequel l'état futur dépend uniquement de l'état actuel et non de l'état passé et il existe une matrice de transition qui capture la probabilité de transition d'un état à un autre.

Mais je suis tombé sur ce terme: Markov Chain Monte Carlo. Ce que je veux savoir, c'est si Markov Chain Monte Carlo est lié de quelque façon au processus de Markov que je décris ci-dessus?

Eh bien, oui, il y a une relation entre les deux termes car les tirages de MCMC forment une chaîne de Markov. De Gelman, Bayesian Data Analysis (3e éd.), P. 265:

La simulation de chaîne de Markov (également appelée chaîne de Markov Monte Carlo ou MCMC) est une méthode générale basée sur le dessin de valeurs de partir de distributions appropriées, puis en corrigeant ces tirages pour mieux approcher la distribution postérieure cible, p ( θ | y ) . L'échantillonnage se fait séquentiellement, la distribution des tirages échantillonnés dépendant de la dernière valeur tirée; par conséquent, les tirages forment une chaîne de Markov.$\theta$$p(\theta|y)$

Le lien entre les deux concepts est que les méthodes de la chaîne de Markov Monte Carlo (aka MCMC) s'appuient sur la théorie de la chaîne de Markov pour produire des simulations et des approximations de Monte Carlo à partir d'une distribution cible complexe .$\pi$

$X_1,\ldots,X_N$$X_i$$\{X_{i-1},\ldots,X_1\}$$X_{i-1}$

L'exemple le plus simple d'un algorithme MCMC est l'échantillonneur de tranches : à l'itération i de cet algorithme, faites

1. $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. $X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$$\epsilon^2_i$

$\mathrm{N}(0,1)$

1. $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. $X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$$X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$$\epsilon_i^2\sim\mathrm{U}(0,1)$

ou en R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

$\mathrm{N}(0,1)$$(X_i)$

$(X_i,\epsilon^1_i\pi(X_i))$

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

qui suit les mouvements verticaux et horizontaux de la chaîne de Markov sous la courbe de densité cible.