Estimation des probabilités de la chaîne de Markov

12

Quelle serait la manière courante d'estimer la matrice de transition MC compte tenu de la série temporelle?

Existe-t-il une fonction R pour cela?

markov-process user333
la source

S'agit-il d'une chaîne de Markov d'état discrète ou continue?

Macro

Discrète je pense. J'ai 5 états possibles S1 à S5

user333

S'appuyant sur les bonnes réponses précédentes: oui, il existe un moyen qui tient compte de la position. Je pense que cela est possible au moyen de modèles de Markov d'ordre n.

14

Comme la série chronologique est à valeur discrète, vous pouvez estimer les probabilités de transition par les proportions de l'échantillon. Soit l'état du processus au temps , la matrice de transition puis $Y_{t}$ $t$ ${\bf P}$

P_{i j} = P (Y_{t} = j | Y_{t - 1} = i)

${\bf P}_{ij} = P(Y_{t} = j | Y_{t-1} = i)$

Comme il s'agit d'une chaîne de Markov, cette probabilité ne dépend que de , elle peut donc être estimée par la proportion d'échantillon. Soit le nombre de fois que le processus est passé de l'état à . Alors, $Y_{t-1}$ $n_{ik}$ $i$ $k$

{\hat{P}}_{i j} = \frac{n_{i j}}{\sum_{k = 1}^{m} n_{i k}}

$\hat{{\bf P}}_{ij} = \frac{ n_{ij} }{ \sum_{k=1}^{m} n_{ik} }$

où est le nombre d'états possibles ( dans votre cas). Le dénominateur, , est le nombre total de mouvements hors de l'état . L'estimation des entrées de cette manière correspond en fait à l'estimateur du maximum de vraisemblance de la matrice de transition, en considérant les résultats comme multinomiaux, conditionnés à . $m$ $m=5$ $\sum_{k=1}^{m} n_{ik}$ $i$ $Y_{t-1}$

Modifier: Cela suppose que les séries chronologiques soient observées à intervalles réguliers. Sinon, les probabilités de transition dépendraient également du décalage temporel (même si elles sont encore markoviennes).

Macro
la source

6

J'entends ce que tu dis. Les fréquences essentiellement observées seront ma matrice ... En termes simples!

user333

Que diriez-vous de l'espace d'état continu? Bien que j'aie un peu de mal à comprendre le concept?

user333

1

Pour un espace d'état continu, le problème devient beaucoup plus compliqué, car vous devez alors estimer une fonction de transition plutôt qu'une matrice. Dans ce cas, puisque la probabilité marginale d'être dans un état particulier est de 0 (de la même manière que la probabilité de prendre un point particulier dans l'espace d'échantillonnage est de 0 pour toute distribution continue), ce que j'ai décrit ci-dessus n'a pas de sens. Dans le cas continu, je crois que l'estimation de la fonction de transition est la solution à un ensemble d'équations différentielles (je ne suis pas très familier avec cela, alors quelqu'un doit me corriger si je me trompe)

Macro

Cette méthode ne suppose-t-elle pas une observation continue, plutôt que plusieurs selon le message ci-dessous? Par exemple, imaginez que E était un état absorbant ... Alors cela ne serait pas révélé ici sûrement?

HCAI

4

C'est très, avec l'hypothèse que votre série chronologique est stationnaire:

Pour simplifier l'excellente réponse de Macro

Voici votre série chronologique avec 5 états: A, B, C, D, E

AAAEDDDCBEEEDBADBECADAAAACCCDDE

Il suffit de compter d'abord les transitions: - laissant A: 9 transitions Parmi ces 9 transitions, 5 sont A-> A, 0 A-> B, 1 A-> C, 2 A-> D, 1 A-> E Ainsi, la première ligne de votre matrice de probabilité de transition est [5/9 0 1/9 2/9 1/9]

Vous faites cela en comptant pour chaque état, puis vous obtenez votre matrice 5x5.

Mickaël S
la source

Excellent exemple, merci. Les chaînes de Markov ne se préoccupent donc que du nombre de transitions, pas de leur placement, n'est-ce pas? Par exemple, aurait AAABBBAune même matrice que ABBBAAA?

Marcin

oui, avec la chaîne de Markov si vous avez le même nombre de transition vous aurez la même matrice. C’est une bonne question. Même si vous n'avez pas exactement la même séquence, vous avez le même "comportement" et c'est le plus important dans la modélisation, si vous voulez répéter exactement la même séquence pourquoi la modélisation? Répétez simplement vos données.

Mickaël S

Existe-t-il une autre méthode de comptage des transitions qui soit sensible à la position? Je fais des recherches sur le craquage de mot de passe, donc ce serait bien d'avoir une méthode pour évaluer quel est le prochain personnage le plus susceptible de se produire. Le problème avec les mots de passe est que les gens ont tendance à suivre des règles comme mettre des * au début et à la fin du mot de passe, ou terminer un mot de passe avec un 1, donc ce ne sont pas seulement les transitions qui comptent, mais aussi leur emplacement.

Marcin

ok, je n'ai pas pensé à ce cas, êtes-vous sûr que Markov Chain est la meilleure façon de faire ce que vous voulez faire? Si vous le pensez, quel est votre état (chaque personnage est un état)? Et comment prévoyez-vous de calculer la transition? Comment prévoyez-vous d'utiliser la chaîne markov?

Mickaël S

1

la fonction markovchainFit du package markovchain traite votre problème.

Giorgio Spedicato
la source

Estimation des probabilités de la chaîne de Markov

Réponses: