Quelle est la différence entre les chaînes de Markov et les processus de Markov?

16

Quelle est la différence entre les chaînes de Markov et les processus de Markov?


Je lis des informations contradictoires: parfois la définition est basée sur si l'espace d'état est discret ou continu, et parfois elle est basée sur si le temps est discret ou continu.

Diapositive 20 de ce document :

Un processus de Markov est appelé chaîne de Markov si l'espace d'état est discret, c'est-à-dire est fini ou l'espace dénombrable est discret, c'est-à-dire qu'il est fini ou dénombrable.

http://www.win.tue.nl/~iadan/que/h3.pdf :

Un processus de Markov est la version à temps continu d'une chaîne de Markov.

Ou on peut utiliser la chaîne de Markov et le processus de Markov de manière synonyme, en précisant si le paramètre de temps est continu ou discret ainsi que si l'espace d'état est continu ou discret.


Mise à jour du 04/03/2017: la même question a été posée sur https://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably

Franck Dernoncourt
la source
1
D'après mon expérience, la première définition est erronée. Les chaînes de Markov sont souvent utilisées dans le cadre de l'échantillonnage à partir d'une distribution postérieure (MCMC). Ces postérieures peuvent être définies sur un espace d'état finitnte ou continu; donc la première définition est probablement incorrecte. Le second est plus logique. Cependant, je ne pense pas qu'il y ait beaucoup de différence entre les deux, car j'ai souvent vu l'expression, chaînes de Markov à temps continu.
Greenparker
1
Je me souviens que ce que j'ai appris du livre de texte est que le processus de Markov est le terme le plus générique, et la chaîne de Markov est un cas spécial discret temporel et discret.
Haitao Du

Réponses:

8

De la préface à la première édition de "Chaînes de Markov et stabilité stochastique" de Meyn et Tweedie:

Nous traitons ici avec les chaînes de Markov. Malgré les tentatives initiales de Doob et Chung [99,71] de réserver ce terme aux systèmes évoluant sur des espaces dénombrables avec des paramètres temporels à la fois discrets et continus, l'usage semble avoir décrété (voir par exemple Revuz [326]) que les chaînes de Markov entrent temps discret, sur tout l'espace qu'ils souhaitent; et tels sont les systèmes que nous décrivons ici.

Edit: les références citées par ma référence sont respectivement:

99: JL Doob. Processus stochastiques . John Wiley & Sons, New York 1953

71: KL Chung. Chaînes de Markov avec probabilités de transition stationnaires . Springer-Verlag, Berlin, deuxième édition, 1967.

326: D. Revuz. Chaînes de Markov . Hollande du Nord, Amsterdam, deuxième édition, 1984.

Taylor
la source
6

Une méthode de classification des processus stochastiques est basée sur la nature du time parameter( discret ou continu ) et state space( discret ou continu ). Cela conduit à quatre catégories de processus stochastiques.

Si le state spaceprocessus stochastique est discret , qu'il time parametersoit discret ou continu , le processus est généralement appelé chaîne .

Si un processus stochastique possède la propriété de Markov , quelle que soit la nature du paramètre temporel (discret ou continu) et de l'espace d'état (discret ou continu) , il est alors appelé processus de Markov . Par conséquent, nous aurons quatre catégories de processus de Markov.

A continuous time parameter, discrete state spaceprocessus stochastique possédant la propriété de Markov est appelée une chaîne de Markov de paramètre continue (HTC) .

A discrete time parameter, discrete state spaceprocessus stochastique possédant la propriété de Markov est appelée une chaîne de Markov discret de paramètre (DTMC) .

De même, nous pouvons avoir deux autres processus de Markov.

Mise à jour 2017-03-09:

Every independent increment process is a Markov process.

Poisson processayant la propriété d'incrémentation indépendante est un Markov processparamètre temporel continu et un espace d'état discret.

Brownian motion processavoir la propriété d'incrémentation indépendante est un Markov processparamètre de temps continu et un processus d'espace d'état continu.

LVRao
la source