Quelle est la différence entre un réseau Bayes (dynamique) et un HMM?

14

J'ai lu que les HMM, les filtres à particules et les filtres de Kalman sont des cas particuliers de réseaux Bayes dynamiques. Cependant, je ne connais que les HMM et je ne vois pas la différence avec les réseaux Bayes dynamiques.

Quelqu'un pourrait-il expliquer?

Ce serait bien si votre réponse pouvait être similaire à la suivante, mais pour Bayes Networks:

Modèles de Markov cachés

Un modèle de Markov caché (HMM) est un 5 × tuple λ=(S,O,A,B,Π) :

  • S : un ensemble d'états (par exemple "début du phonème", "milieu du phonème", "fin du phonème")
  • O : un ensemble d'observations possibles (signaux audio)
  • AR|S|×|S| : Une matrice stochastique qui donne des probabilités pour passer de l'état à l'état .(aij)ij
  • BR|S|×|O| : Une matrice stochastique qui donne des probabilités (bkl) pour obtenir dans l'état k l'observation l .
  • ΠR|S| : Distribution initiale pour commencer dans l'un des états.

Il est généralement affiché sous forme de graphe orienté, où chaque nœud correspond à un état et les probabilités de transition sont indiquées sur les bords.sS

Les modèles de Markov cachés sont appelés "cachés", car l'état actuel est masqué. Les algorithmes doivent le deviner à partir des observations et du modèle lui-même. Ils sont appelés "Markov", car pour l'état suivant, seul l'état actuel compte.

Pour les HMM, vous donnez une topologie fixe (nombre d'états, arêtes possibles). Ensuite, il y a 3 tâches possibles

  • Évaluation : étant donné un HMM , quelle est la probabilité d'obtenir des observations (algorithme Forward)λo1,,ot
  • Décodage : étant donné un HMM et une observation , quelle est la séquence d'états la plus probable (algorithme de Viterbi)λo1,,ots1,,st
  • Apprentissage : apprendre : algorithme de Baum-Welch , qui est un cas particulier de maximisation des attentes.A,B,Π

Réseaux Bayes

Les réseaux bayésiens sont des graphes acycliques dirigés (DAG) . Les nœuds représentent des variables aléatoires . Pour chaque , il existe une distribution de probabilité qui est conditionnée aux parents de :G=(X,E)XXXX

P(X|parents(X))

Il semble y avoir (veuillez préciser) deux tâches:

  • Inférence : Étant donné certaines variables, obtenez les valeurs les plus probables des autres variables. L'inférence exacte est NP-difficile. Vous pouvez approximativement utiliser MCMC.
  • Apprentissage : La façon dont vous apprenez ces distributions dépend du problème exact ( source ):

    • structure connue, entièrement observable: estimation du maximum de vraisemblance (MLE)
    • structure connue, partiellement observable: maximisation des attentes (EM) ou chaîne de Markov Monte Carlo (MCMC)
    • structure inconnue, entièrement observable: recherche dans l'espace modèle
    • structure inconnue, partiellement observable: recherche EM + dans l'espace modèle

Réseaux Bayes dynamiques

Je suppose que les réseaux dynamiques Bayes (DBN) sont également des modèles graphiques probabilistes dirigés. La variabilité semble provenir de l'évolution du réseau au fil du temps. Cependant, il me semble que cela équivaut à ne copier que le même réseau et à connecter chaque nœud à l'instant avec chaque nœud correspondant à l'instant . Est-ce le cas?tt+1

Martin Thoma
la source
2
1. Vous pouvez également apprendre la topologie d'un HMM. 2. Lorsque vous faites des inférences avec des BN, en plus de demander des estimations du maximum de vraisemblance, vous pouvez également échantillonner à partir des distributions, estimer les probabilités ou faire tout ce que la théorie des probabilités vous permet. 3. Un DBN est juste un BN copié dans le temps, avec certains (pas nécessairement tous) nœuds enchaînés du passé au futur. En ce sens, un HMM est un DBN simple avec seulement deux nœuds dans chaque tranche de temps et l'un des nœuds enchaînés dans le temps.
KT.
J'ai demandé à quelqu'un à ce sujet et ils ont dit: "Les HMM ne sont que des cas spéciaux de réseaux Bayes dynamiques, avec chaque tranche de temps contenant une variable latente, dépendante de la précédente pour donner une chaîne de Markov, et une observation dépendante de chaque variable latente. DBN peut avoir n'importe quelle structure qui évolue avec le temps. "
ashley

Réponses:

1

D'une question de validation croisée similaire suit la réponse de @jerad :

Les HMM ne sont pas équivalents aux DBN, ils constituent plutôt un cas particulier des DBN dans lesquels l'état du monde entier est représenté par une seule variable d'état cachée. D'autres modèles dans le cadre DBN généralisent le HMM de base, permettant plus de variables d'état cachées (voir le deuxième article ci-dessus pour les nombreuses variétés).

Enfin, non, les DBN ne sont pas toujours discrets. Par exemple, les modèles d'état gaussiens linéaires (filtres de Kalman) peuvent être conçus comme des HMM à valeur continue, souvent utilisés pour suivre des objets dans l'espace.

Je recommanderais de parcourir ces deux excellents articles de synthèse:

xboard
la source