Explication intuitive de la périodicité dans les chaînes de Markov

16

Quelqu'un peut-il m'expliquer de manière intuitive quelle est la périodicité d'une chaîne de Markov?

Il est défini comme suit:

Pour tous les États i en S

= pgcd { n N | p ( n ) i i > 0 } = 1di{nN|pii(n)>0}=1

Je vous remercie pour vos efforts!

Chris
la source
1
J'ai trouvé la rédaction de Wikipedia succincte et claire. Cela fait-il le travail pour vous?
Cyan
2
La définition en OP est appelée "apéroïde".
Jack

Réponses:

27

Tout d'abord, votre définition n'est pas entièrement correcte. Voici la définition correcte de wikipedia, comme suggéré par Cyan.


Périodicité (source: wikipedia )

Un état i a une période k si tout retour à l'état i doit se produire par multiples de k pas de temps. Formellement, la période d'un état est définie comme

k = gcd{n:Pr(Xn=i|X0=i)>0}

(où "gcd" est le plus grand diviseur commun). Notez que même si un état a une période k, il peut ne pas être possible d'atteindre l'état en k étapes. Par exemple, supposons qu'il soit possible de revenir à l'état en {6, 8, 10, 12, ...} pas de temps; k serait 2, même si 2 n'apparaît pas dans cette liste.

Si k = 1, alors l'état est dit apériodique: le retour à l'état i peut se produire à des moments irréguliers. Autrement dit, un état i est apériodique s'il existe n tel que pour tout n '≥ n,

Pr(Xn=i|X0=i)>0.

Sinon (k> 1), l'état est dit périodique avec la période k. Une chaîne de Markov est apériodique si chaque état est apériodique.


Mon explication

Le terme périodicité décrit si quelque chose (un événement, ou ici: la visite d'un état particulier) se produit à un intervalle de temps régulier. Ici, le temps est mesuré par le nombre d'états que vous visitez.

Premier exemple:

entrez la description de l'image ici

Imaginez maintenant que l'horloge représente une chaîne de Markov et que chaque heure marque un état, nous avons donc 12 états. Chaque état est affiché par l'aiguille des heures toutes les 12 heures (états) avec une probabilité = 1, donc le plus grand diviseur commun est également 12.

Ainsi, chaque état (horaire) est périodique avec la période 12.

Deuxième exemple:

startheadstails représentant le résultat du dernier tirage au sort.

entrez la description de l'image ici

headsstarttailsstart

headsheadsheadsheads

tailsstartstart

steffen
la source
0

n>0Piin=0Piii

>1gcdnPPiin=0gcd

Dilawar
la source
Vous confondez périodicité et réductibilité. Si la chaîne est irréductible, il est possible de passer de n'importe quel état à n'importe quel autre état. La périodicité est importante dans MCMC parce que même si chaque état peut être atteint (irréductibilité), la convergence (as) vers la distribution cible dépend de la propriété supplémentaire de l'apériodicité. Voir par exemple «Variance asymptotique et taux de convergence des algorithmes MCMC presque périodiques» de Rosenthal (2001).
Anne van Rossum