Un MCMC remplissant un équilibre détaillé donne-t-il une distribution stationnaire?

12

Je suppose que je comprends l'équation de la condition d'équilibre détaillé, qui stipule que pour la probabilité de transition et la distribution stationnaire , une chaîne de Markov satisfait à l'équilibre détaillé siqπ

q(x|y)π(y)=q(y|x)π(x),

cela a plus de sens pour moi si je le reformule comme:

q(x|y)q(y|x)=π(x)π(y).

Fondamentalement, la probabilité de transition de l'état à l'état devrait être proportionnelle au rapport de leurs densités de probabilité.xy

probability mcmc markov-process Mike Flynn
la source

Réponses:

10

Il n'est pas vrai que MCMC remplissant l'équilibre détaillé donne toujours la distribution stationnaire. Vous avez également besoin que le processus soit ergodique . Voyons pourquoi:

Considérez comme un état de l'ensemble de tous les états possibles et identifiez-le par l'indice . Dans un processus de Markov, une distribution évolue selonxipt(i)

pt(i)=∑jΩj→ipt−1(j)

où est la matrice désignant les probabilités de transition (votre ).Ωj→iq(x|y)

Donc, nous avons ça

pt(i)=∑j(Ωj→i)tp0(j)

Le fait que soit une probabilité de transition implique que ses valeurs propres doivent appartenir à l'intervalle [0,1].Ωj→i

Afin de garantir que toute distribution initiale converge vers celle asymptotique, vous devez vous assurer quep0(j)

  • 1 Il n'y a qu'une seule valeur propre de avec la valeur 1 et il a un vecteur propre différent de zéro.Ω

Pour vous assurer que est la distribution asymptotique, vous devez vous assurer queπ

  • 2 Le vecteur propre associé à la valeur propre 1 est .π

L'ergodicité implique 1., l'équilibre détaillé implique 2., et c'est pourquoi les deux forment une condition nécessaire et suffisante de convergence asymptotique.

Pourquoi un équilibre détaillé implique 2:

Commençant par

p(i)Ωij=Ωjip(j)

et en sommant deux côtés, on obtientj

p(i)=∑jΩjip(j)

parce que , puisque vous transitez toujours quelque part.∑jΩij=1

L'équation ci-dessus est la définition de la valeur propre 1, (plus facile à voir si vous l'écrivez sous forme vectorielle :)

1.v=Ω⋅v
Jorge Leitao
la source
L'OP ne demande pas si elle est unique ou non, il demande comment le MCMC avec un équilibre détaillé est suffisant pour produire une densité de probabilité invariante.
gatsu
1
La première phrase de cette réponse est "Il n'est pas vrai que MCMC remplissant l'équilibre détaillé donne toujours la distribution stationnaire." Alors, non, un équilibre détaillé ne suffit pas pour céder et une densité invariante ... Comment cela ne répond-il pas à la question?
Jorge Leitao
0

Je pense que oui, car pour un MC irréductible, si l'équilibre détaillé est satisfait, il a une distribution stationnaire unique, mais pour qu'il soit indépendant de la distribution initiale, il doit également être apériodique.

Dans le cas de MCMC, nous partons d'un point de données, puis proposons un nouveau point. Nous pouvons ou non nous déplacer vers le point proposé, c'est-à-dire que nous avons une boucle automatique qui rend un MC irréductible apériodique.

Maintenant, en vertu de la satisfaction de DB, il a également des états récurrents positifs, c'est-à-dire que le temps de retour moyen aux états est fini. La chaîne que nous construisons en MCMC est donc irréductible, apériodique et positive récurrente, ce qui signifie que c'est une chaîne ergodique.

Nous savons que pour une chaîne ergodique irréductible, il existe une distribution stationnaire qui est unique et indépendante de la distribution initiale.

Siddharth Shakya
la source