Quelle est la différence entre les distributions «limitantes» et «stationnaires»?

Je fais une question sur les chaînes de Markov et les deux dernières parties disent ceci:

Cette chaîne de Markov possède-t-elle une distribution limitative? Si votre réponse est "oui", recherchez la distribution limite. Si votre réponse est "non", expliquez pourquoi.

Cette chaîne de Markov possède-t-elle une distribution stationnaire? Si votre réponse est "oui", trouvez la distribution stationnaire. Si votre réponse est "non", expliquez pourquoi.

Quelle est la différence? Plus tôt, je pensais que la distribution limite était quand vous le travail à l' aide mais c'est la ième matrice de transition étape. Ils ont calculé la distribution limite en utilisant , que je pensais être la distribution stationnaire. $P = CA^n C^{-1}$ $n$ $\Pi = \Pi P$

Quel est lequel alors?

markov-process Kaish
la source

Votre manuel peut faire une distinction qui n'est pas universelle: par exemple, les notes de Karl Sigman sur la limitation des distributions définissent les distributions "limitantes" et "stationnaires" comme synonymes (définition 2.3 au bas de la page 5). Par conséquent, vous devez consulter les définitions de votre manuel afin de déterminer la différence.

whuber

@whuber Cela signifie quelque chose comme travailler sur et cela n'existe pas. Il continue ensuite en disant "même si la distribution limite n'existe pas, le stationnaire existe. Soit

la distribution stationnaire ...." Mais je vous garantissent de calculer la distribution limite dans la question précédente, ils l'ont résolu comme ceci. Cela vous semble-t-il logique?

lim_{n \to \infty} P_{i i}^{(n)}

$\lim_{n \rightarrow \infty} P_{ii}^{(n)}$

Π = (π_{0}, π_{1}, . . ., π_{n})

$\Pi = (\pi_0, \pi_1, ... ,\pi_n)$

Kaish

@whuber En fait, je suis assez confus maintenant parce que dans la précédente question de distribution limite, ils ne satisfont pas l'égalité

π_{0} + π_{1} + π_{2} = 1

$\pi_0 + \pi_1 + \pi_2 = 1$ , alors peut-être que c'est différent?

Kaish

Une distribution stationnaire est une distribution stable dans le temps. Pour autant que je sache, la distribution limite d'une chaîne de Markov est stationnaire et si une chaîne Markov a une distribution stationnaire, c'est aussi une distribution limitante.

shadowtalker

Répondre ici par Andreas pourrait aider quora.com/…

Siddharth Shakya

Réponses:

Extrait d' une introduction à la modélisation stochastique de Pinsky et Karlin (2011):

Une distribution limite, lorsqu'elle existe, est toujours une distribution stationnaire, mais l'inverse n'est pas vrai. Il peut exister une distribution stationnaire mais pas de distribution limitative. Par exemple, il n'y a pas de distribution limite pour la chaîne de Markov périodique dont la matrice de probabilité de transition est mais est une distribution stationnaire, car (p. 205).
$P = ‖ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} ‖$ $\mathbf{P}=\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|$ $\pi=\left(\frac{1}{2},\frac{1}{2}\right)$ $(\frac{1}{2}, \frac{1}{2}) ‖ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} ‖ = (\frac{1}{2}, \frac{1}{2})$ $\left(\frac{1}{2},\frac{1}{2}\right)\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|=\left(\frac{1}{2},\frac{1}{2}\right)$

Dans une section précédente, ils avaient déjà défini une " distribution de probabilité limite " en $\pi$

$lim_{n \to \infty} P_{i j}^{(n)} = π_{j} f o r j = 0, 1, \dots, N$ $\lim_{n\rightarrow\infty}P_{ij}^{(n)}=\pi_j~\mathrm{for}~j=0,1,\dots,N$

et de manière équivalente

$lim_{n \to \infty} \Pr {X_{n} = j | X_{0} = i} = π_{j} > 0 f o r j = 0, 1, \dots, N$ $\lim_{n\rightarrow\infty}\operatorname{Pr}\{X_n=j|X_0=i\}=\pi_j>0~\mathrm{for}~j=0,1,\dots,N$ (p. 165).

L'exemple ci-dessus oscille de façon déterministe et ne parvient donc pas à avoir une limite de la même manière que la séquence ne parvient pas à avoir une limite. $\{1,0,1,0,1,\dots\}$

Ils déclarent qu'une chaîne de Markov régulière (dans laquelle toutes les probabilités de transition en n étapes sont positives) a toujours une distribution limite, et prouvent qu'elle doit être la solution non négative unique pour

$π_{j} = \sum_{k = 0}^{N} π_{k} P_{k j}, j = 0, 1, \dots, N, \sum_{k = 0}^{N} π_{k} = 1$ $\pi_j=\sum_{k=0}^N\pi_kP_{kj},~~j=0,1,\dots,N,\\ \sum_{k=0}^N\pi_k=1$ (p. 168 )

Puis sur la même page que l'exemple, ils écrivent

Tout ensemble satisfaisant (4.27) est appelé une distribution de probabilité stationnaire de la chaîne de Markov. Le terme "stationnaire" dérive de la propriété qu'une chaîne de Markov a démarré selon une distribution stationnaire suivra cette distribution à tout moment. Formellement, si , alors pour tous les . $(\pi_i)_{i=0}^{\infty}$ $\operatorname{Pr}\{X_0=i\}=\pi_i$ $\operatorname{Pr}\{X_n=i\}=\pi_i$ $n=1,2,\dots$

où (4.27) est l'ensemble des équations

$π_{i} \geq 0, \sum_{i = 0}^{\infty} π_{i} = 1, a n d π_{j} = \sum_{i = 0}^{\infty} π_{i} P_{i j} .$ $\pi_i \geq 0, \sum_{i=0}^{\infty} \pi_i=1,~\mathrm{and}~\pi_j = \sum_{i=0}^{\infty} \pi_iP_{ij}.$

qui est précisément la même condition de stationnarité que ci-dessus, sauf maintenant avec un nombre infini d'états.

Avec cette définition de la stationnarité, l'énoncé de la page 168 peut être retraité rétroactivement comme suit:

La distribution limitative d'une chaîne régulière de Markov est une distribution stationnaire.
Si la distribution limite d'une chaîne de Markov est une distribution stationnaire, alors la distribution stationnaire est unique.

shadowtalker
la source

Pouvez-vous préciser ce que vous entendez par «les probabilités de transition ne changent pas avec le temps» pour la stationnarité? La distribution limite et stationnaire concerne les probabilités sur les états.

Juho Kokkala du

Ouais, je vois que vous avez écrit votre propre réponse mais j'ai réorganisé la mienne pour être plus correcte.

shadowtalker

Je ne comprends toujours pas. Je veux dire que voulez-vous dire quand vous dites "sauf maintenant avec un nombre infini d'états ...."? Pourriez-vous, s'il vous plaît, le clarifier de manière plus explicite.

roni

@roni les deux expressions sont identiques si vous laissez

N = \infty

$N=\infty$

shadowtalker

Dans le premier bloc en surbrillance, est la distribution stationnaire pour l'exemple, cependant, il n'a pas de distribution limite car va osciller, et il n'a donc pas d'état stationnaire. Cela signifie-t-il qu'il ne garantira pas l'existence d'un état stationnaire si seule la distribution stationnaire est calculée?

π = (1 / 2, 1 / 2)

$\pi=(1/2,1/2)$

P^{n}

$P^{n}$

Guoyang Qin

Une distribution stationnaire est une distribution telle que si la distribution sur les états à l'étape est , alors également la distribution sur les états à l'étape est . Autrement dit, Une distribution limite est une telle distribution que quelle que soit la distribution initiale, la distribution sur les états converge vers comme le nombre de les étapes vont à l'infini: indépendamment de $\pi$ $k$ $\pi$ $k+1$ $\pi$

π = π P .

$\begin{equation} \pi = \pi P. \end{equation}$

π

$\pi$

π

$\pi$

lim_{k \to \infty} π^{(0)} P^{k} = π,

$\begin{equation} \lim_{k\rightarrow \infty} \pi^{(0)} P^k = \pi, \end{equation}$

π^{(0)}

$\pi^{(0)}$ . Par exemple, considérons une chaîne de Markov dont les deux états sont les côtés d'une pièce de monnaie, . Chaque étape consiste à retourner la pièce à l'envers (avec probabilité 1). Notez que lorsque nous calculons les distributions d'état, elles ne sont pas conditionnelles aux étapes précédentes, c'est-à-dire que le gars qui calcule les probabilités ne voit pas la pièce. Ainsi, la matrice de transition est Si nous initialisons d'abord la pièce en la retournant au hasard ( ), alors tous les pas de temps suivants suivent cette distribution. (Si vous lancez une pièce juste, puis la retournez, la probabilité de têtes est toujours de ). Donc,

{h e a d s, t a i l s}

$\{heads, tails\}$

P = (\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix}) .

$\begin{equation} P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}. \end{equation}$

π^{(0)} = (\begin{matrix} 0.5 & 0.5 \end{matrix})

$\pi^{(0)} = \begin{pmatrix}0.5 & 0.5\end{pmatrix}$

0.5

$0.5$

(\begin{matrix} 0.5 & 0.5 \end{matrix})

$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$ est une distribution stationnaire pour cette chaîne de Markov.

Cependant, cette chaîne n'a pas de distribution limite: supposons que nous initialisons la pièce de sorte qu'elle soit en tête avec une probabilité . Ensuite, comme tous les états suivants sont déterminés par l'état initial, après un nombre pair d'étapes, l'état est en tête avec la probabilité et après un nombre impair d'étapes, l'état est en tête avec la probabilité . Cela vaut quel que soit le nombre de pas effectués, ainsi la distribution sur les états n'a pas de limite. $2/3$ $2/3$ $1/3$

Maintenant, modifions le processus pour qu'à chaque étape, on ne tourne pas nécessairement la pièce. Au lieu de cela, on lance un dé, et si le résultat est , la pièce est laissée telle quelle. Cette chaîne de Markov a une matrice de transition Sans passer par les mathématiques, je soulignerai que ce processus "oubliera" l'état initial en raison de l'omission aléatoire du tour. Après un nombre énorme d'étapes, la probabilité de têtes sera proche de , même si nous savons comment la pièce a été initialisée. Ainsi, cette chaîne a la distribution limite . $6$

P = (\begin{matrix} 1 / 6 & 5 / 6 \\ 5 / 6 & 1 / 6 \end{matrix}) .

$\begin{equation} P = \begin{pmatrix} 1/6 & 5/6 \\ 5/6 & 1/6 \end{pmatrix}. \end{equation}$

0.5

$0.5$

(\begin{matrix} 0.5 & 0.5 \end{matrix})

$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$

Juho Kokkala
la source

Bon point sur l'oubli de l'état initial, j'ai complètement ignoré cela dans ma réponse.

shadowtalker

Cette explication m'aide à comprendre beaucoup. Puis-je dire que l'existence d'un état stationnaire équivaut à l'existence d'une distribution limite? Puisqu'il n'est pas facile de calculer la distribution limite, nous calculons souvent la distribution stationnaire en résolvant à la place des équations d'équilibre. Cependant, je pensais que cette méthode alternative ne garantit pas que la distribution stationnaire est indépendante des états initiaux, donc, elle explique pourquoi pour , elle a la distribution stationnaire mais pas d'état stationnaire indépendant des états initiaux.

P = (\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix})

$P = \begin{pmatrix}0&1\\1&0\end{pmatrix}$

Guoyang Qin

@GuoyangQin Si vous avez une nouvelle question, vous souhaiterez peut-être la poster en tant que question (un lien vers celle-ci si elle permet de fournir une question). Bien que j'aurais pensé que «l'état stationnaire» dans ce contexte signifierait «distribution stationnaire», il serait donc préférable de définir clairement le terme dans la question

Juho Kokkala

Mis à part la notation, le mot «stationnaire» signifie «une fois que vous y serez, vous y resterez»; tandis que le mot "limiter" implique "vous finirez par y arriver si vous allez assez loin". Je pensais que cela pourrait être utile.

Ciel bleu
la source

Il n'est pas clair comment cela s'applique à la question. Pourriez-vous expliquer?

whuber

Salut @whuber, je veux dire qu'une distribution limitante est nécessairement une distribution stationnaire alors qu'une distribution stationnaire n'est pas nécessairement une distribution limitante. Il y a donc une différence. C'est essentiellement la même chose que les autres réponses, mais je pense que c'est plus facile à retenir.

BlueSky

Merci pour la clarification: elle nous montre ce que vous essayez d'accomplir. Cependant, je ne trouve aucun moyen raisonnable d'interpréter votre description de «stationnaire» d'une manière qui soit cohérente avec la définition mathématique.

whuber

@whuber Le phrasé de BlueSky me semble être une notion anglaise très simple de "point fixe" - je ne suis pas sûr de ce que pourrait signifier votre objet.

Richard Rast