Quelle est la différence entre les chaînes de Markov et les processus de Markov?
Je lis des informations contradictoires: parfois la définition est basée sur si l'espace d'état est discret ou continu, et parfois elle est basée sur si le temps est discret ou continu.
Diapositive 20 de ce document :
Un processus de Markov est appelé chaîne de Markov si l'espace d'état est discret, c'est-à-dire est fini ou l'espace dénombrable est discret, c'est-à-dire qu'il est fini ou dénombrable.
http://www.win.tue.nl/~iadan/que/h3.pdf :
Un processus de Markov est la version à temps continu d'une chaîne de Markov.
Ou on peut utiliser la chaîne de Markov et le processus de Markov de manière synonyme, en précisant si le paramètre de temps est continu ou discret ainsi que si l'espace d'état est continu ou discret.
Mise à jour du 04/03/2017: la même question a été posée sur https://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably
la source
Réponses:
De la préface à la première édition de "Chaînes de Markov et stabilité stochastique" de Meyn et Tweedie:
Edit: les références citées par ma référence sont respectivement:
99: JL Doob. Processus stochastiques . John Wiley & Sons, New York 1953
71: KL Chung. Chaînes de Markov avec probabilités de transition stationnaires . Springer-Verlag, Berlin, deuxième édition, 1967.
326: D. Revuz. Chaînes de Markov . Hollande du Nord, Amsterdam, deuxième édition, 1984.
la source
Une méthode de classification des processus stochastiques est basée sur la nature du
time parameter
( discret ou continu ) etstate space
( discret ou continu ). Cela conduit à quatre catégories de processus stochastiques.Si le
state space
processus stochastique est discret , qu'iltime parameter
soit discret ou continu , le processus est généralement appelé chaîne .Si un processus stochastique possède la propriété de Markov , quelle que soit la nature du paramètre temporel (discret ou continu) et de l'espace d'état (discret ou continu) , il est alors appelé processus de Markov . Par conséquent, nous aurons quatre catégories de processus de Markov.
A
continuous time parameter
,discrete state space
processus stochastique possédant la propriété de Markov est appelée une chaîne de Markov de paramètre continue (HTC) .A
discrete time parameter
,discrete state space
processus stochastique possédant la propriété de Markov est appelée une chaîne de Markov discret de paramètre (DTMC) .De même, nous pouvons avoir deux autres processus de Markov.
Mise à jour 2017-03-09:
Every independent increment process is a Markov process.
Poisson process
ayant la propriété d'incrémentation indépendante est unMarkov process
paramètre temporel continu et un espace d'état discret.Brownian motion process
avoir la propriété d'incrémentation indépendante est unMarkov process
paramètre de temps continu et un processus d'espace d'état continu.la source