Comment voyez-vous qu'une chaîne de Markov est irréductible?

J'ai du mal à comprendre la propriété de la chaîne de Markov irréductible .

Irréductible signifie que le processus stochastique peut "passer de n'importe quel état à n'importe quel état".

Mais qu'est-ce qui définit s'il peut passer de l'état à l'état , ou non?$i$$j$

---

La page wikipedia donne la formalisation:

L'état est accessible (écrit ) à partir de l'état , s'il existe un entier st i → j i n i j > 0 P ( X n i j = j | X 0 = i ) = p ( n i j ) i j > $j$$i\rightarrow j$$i$$n_{ij}>0$

$$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$$

alors communiquer est si et .j → $i\rightarrow j$$j \rightarrow i$

De ces irréductibilité découle en quelque sorte.

Voici trois exemples de matrices de transition, les deux premiers pour le cas réductible, le dernier pour le cas irréductible.

PourP1, lorsque vous êtes dans l'état 3 ou 4, vous y resterez, et de même pour les états 1 et 2. Il n'y a aucun moyen pour passer de l'état 1 à l'état 3 ou 4, par exemple.

$$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$$ $P_1$

Pour , vous pouvez accéder à n'importe quel état des états 1 à 3, mais une fois dans l'état 4, vous y resterez. P 3 = ( 0,5 0,5 0 0 0 0 0,9 0 0 0 0 0,1 0 0 0 0,8 0 0,2 0,7 0 0,1 0 0,2 0 0 0 0 0,1 0,9 0 0,9 0 0 0 0,1 0$P_2$

$$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$$ Pour cet exemple, vous pouvez commencer dans n'importe quel état et atteindre tout autre état, mais pas nécessairement en une seule étape.

L'état est dit être accessible à partir d' un état i (généralement notée i → j ) s'il existe un n ≥ 0 tel que: p n i j = P ( X n = j | X 0 = i ) > 0 Ce est, on peut passer de l'état i à l'état j en n étapes avec la probabilité p n i j .$j$$i$$i \to j$$n\geq 0$

$$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$$ $i$$j$$n$$p^n_{ij}$

$i\to j$$j\to i$$i$$j$$i\leftrightarrow j$

$i$$j$$i$$j$$\cdots$$j$$i$

$i\rightarrow j$$j$$i$$m>0$$p_{ij}^{(m)}>0$

$j\rightarrow i$$n>0$$p_{ji}^{(n)}>0$

$i\rightarrow j$$j\rightarrow i$$i$$j$$i \leftrightarrow j$$m>0,\;\; n>0$$p_{ij}^{(m)}>0$$p_{ji}^{(n)}>0$

Si tous les états de la chaîne de Markov appartiennent à une classe communicante fermée , alors la chaîne est appelée une chaîne de Markov irréductible . L'irréductibilité est une propriété de la chaîne.

Dans une chaîne de Markov irréductible, le processus peut passer de n'importe quel état à n'importe quel état , quel que soit le nombre d'étapes qu'il nécessite.

Certaines des réponses existantes me semblent incorrectes.

Comme cité dans Stochastic Processes de J. Medhi (page 79, édition 4), une chaîne de Markov est irréductible si elle ne contient aucun sous-ensemble «fermé» approprié autre que l'espace d'état.

Donc, si dans votre matrice de probabilité de transition, il existe un sous-ensemble d'états tels que vous ne pouvez pas «atteindre» (ou accéder) à d'autres états en dehors de ces états, alors la chaîne de Markov est réductible. Sinon, la chaîne de Markov est irréductible.

D'abord un mot d'avertissement: ne regardez jamais une matrice à moins que vous n'ayez une raison sérieuse de le faire: la seule à laquelle je peux penser est de vérifier les chiffres tapés par erreur ou de lire dans un manuel.

$P$$\exp(P)$$P$$P^n$$n$

L'irréductibilité signifie: vous pouvez passer de n'importe quel état à n'importe quel autre état en un nombre fini d'étapes.

$P_3$