J'aimerais juste que quelqu'un confirme ma compréhension ou si je manque quelque chose.
La définition d'un processus markov indique que la prochaine étape dépend uniquement de l'état actuel et d'aucun état passé. Donc, disons que nous avions un espace d'état de a, b, c, d et que nous allons de a-> b-> c-> d. Cela signifie que la transition vers d ne pouvait dépendre que du fait que nous étions en c.
Cependant, est-il vrai que vous pourriez simplement rendre le modèle plus complexe et "contourner" cette limitation? En d'autres termes, si votre espace d'état était maintenant aa, ab, ac, ad, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd, ce qui signifie que votre nouvel espace d'état devient le état précédent combiné à l'état actuel, alors la transition ci-dessus serait * a-> ab-> bc-> cd et donc la transition vers cd (équivalent dans le modèle précédent à d) est désormais "dépendante" d'un état qui, s'il est modélisé différemment, est un état antérieur (je l'appelle ci-dessous un sous-état).
Ai-je raison de dire que l'on peut le faire "dépendre des états précédents (sous-état)" (je sais techniquement que ce n'est pas le cas dans le nouveau modèle puisque le sous-état n'est plus un état réel) maintenir la propriété markov en développant l'espace d'état comme je l'ai fait? Ainsi, on pourrait en effet créer un processus markov qui pourrait dépendre de n'importe quel nombre de sous-états précédents.
la source
La définition d'un processus markov indique que la prochaine étape dépend uniquement de l'état actuel et d'aucun état passé.
C'est la propriété Markov et elle définit un MC de premier ordre , qui est très maniable mathématiquement et assez facile à présenter / expliquer. Bien sûr, vous pouvez avoir des MC d'ordre (où l'état suivant dépend des états actuels et passés ) ainsi que des MC d'ordre variable (lorsque la longueur de la mémoire est fixe mais dépend de l'état précédent ).nt h n - 1
Vous voudrez peut-être jeter un œil aux articles récents tels que les chaînes de Markov multivariées d'ordre supérieur et leurs applications, car ce domaine progresse rapidement et silencieusement.
la source