Quand est - ce champs aléatoires de Markov

21

Dans leur manuel, Modèles graphiques, familles exponentielles et inférence variationnelle , M. Jordan et M. Wainwright discutent du lien entre les familles exponentielles et les champs aléatoires de Markov (modèles graphiques non dirigés).

J'essaie de mieux comprendre la relation entre eux avec les questions suivantes:

  • Tous les MRF sont-ils membres des familles exponentielles?
  • Tous les membres des familles exponentielles peuvent-ils être représentés en tant que MRF?
  • Si MRFs Familles exponentielles, quels sont de bons exemples de distributions d'un type non incluses dans l'autre ?

D'après ce que je comprends dans leur manuel (chapitre 3), Jordan et Wainwright présentent l'argument suivant:


  1. Supposons que nous ayons une variable aléatoire scalaire X qui suit une certaine distribution , et tirons observations , et nous voulons identifier .n X 1 , X n ppnX1,Xnp

  2. Nous calculons les attentes empiriques de certaines fonctions ϕα

    pour toutαIμ^α=1ni=1nϕα(Xi),αI

    où chaque dans un ensemble I indexe une fonction ϕ α : XRαIϕα:XR

  3. Alors si nous forçons les deux ensembles de quantités suivants à être cohérents, c'est-à-dire à correspondre (pour identifier ):p

    • Les attentes des statistiques suffisantes ϕ de la distribution pEp[(ϕα(X)]=Xϕα(x)p(x)ν(dx)ϕp

    • Les attentes sous la distribution empirique

nous obtenons un problème sous-déterminé , en ce sens qu'il existe de nombreuses distributions qui sont cohérentes avec les observations. Il nous faut donc un principe pour choisir parmi eux (identifier p ).pp

Si nous utilisons le principe de l'entropie maximale pour supprimer cette indétermination, nous pouvons obtenir un seul :p

sous réserve de E p [ ( & phiv alpha ( X ) ] = um alpha pourensemble alpha Ip=argmaxpPH(p)Ep[(ϕα(X)]=μ^ααI

où ce prend la forme p θ ( x ) exp α I θ α ϕ α ( x ) ,θ R d représente une paramétrisation de la distribution sous forme de famille exponentielle.ppθ(x)αjeθαϕα(X),θR

En d'autres termes, si nous

  1. Faire en sorte que les attentes des distributions soient cohérentes avec les attentes de la distribution empirique
  2. Utilisez le principe de l'entropie maximale pour vous débarrasser de l'indétermination

On se retrouve avec une distribution de la famille exponentielle.


Cependant, cela ressemble plus à un argument pour introduire des familles exponentielles, et (pour autant que je puisse comprendre), il ne décrit pas la relation entre les MRF et exp. des familles. Suis-je en train de manquer quelque chose?

Amelio Vazquez-Reina
la source
3
Je pense qu'il y a une certaine confusion là-bas: [MRFs] ( en.wikipedia.org/wiki/Markov_random_field ) ne sont pas définis selon le principe d'entropie maximale, mais à eux seuls, par le fait que la densité factorise selon les cliques de la graphique. Les MRF sont des familles exponentielles, en raison de leur représentation log-linéaire.
Xi'an
Merci @ Xi'an. Cette partie "les MRF sont définis par le fait que la densité factorise selon les cliques du graphique " est ce que j'ai toujours pensé définir un MRF. Mais pourquoi cette propriété fait-elle que tous les MRF font partie des familles exponentielles? Et quels sont les exemples (s'il y en a) de l'un ou l'autre type (MRF ou familles d'exp.) Qui ne sont pas membres de l'autre type?
Amelio Vazquez-Reina
1
Je ne sais pas combien cela ajoutera pour vous, mais une chose qui peut le rendre plus clair est la lecture de la formulation originale des distributions de Gibbs et des MRF dans cet article de Geman et Geman. Fondamentalement, l'idée est de modéliser quelque chose avec une distribution de Boltzman (exp au moins quelque chose), puis de demander comment le quelque chose factorise. En raison de cette façon de le décrire, il peut être plus évident de leur lien avec les familles exponentielles.
le
3
Les familles exponentielles sont définies par le fait que la densité logarithmique est essentiellement un produit scalaire d'une fonction vectorielle des observations et d'une fonction vectorielle des paramètres. Il n'y a pas de structure graphique impliquée dans cette définition. Les MRF comportent en plus un graphique qui définit les cliques, les quartiers, & tc. Par conséquent, les MRF sont des familles exponentielles avec une structure ajoutée, le graphique.
Xi'an
1
Je suppose que la confusion dans les commentaires / réponses contradictoires se résume à savoir si vous êtes autorisé à introduire des facteurs qui ne sont pas log-linéaires par rapport à leurs paramètres.
Yaroslav Bulatov

Réponses:

14

Vous avez tout à fait raison - l'argument que vous avez présenté relie la famille exponentielle au principe de l'entropie maximale, mais n'a rien à voir avec les MRF.

Pour répondre à vos trois questions initiales:

Tous les membres des familles exponentielles peuvent-ils être représentés en tant que MRF?

P(X=X)=Ccl(g)ϕC(XC=XC)
cl(g)g. À partir de cette définition, vous pouvez voir qu'un graphique entièrement connecté, bien que complètement non informatif, est cohérent avec n'importe quelle distribution.

Tous les MRF sont-ils membres des familles exponentielles?

unere

Les distributions mixtes sont des exemples courants de distributions familiales non exponentielles. Considérons le modèle d'espace d'état gaussien linéaire (comme un modèle de Markov caché, mais avec des états cachés continus et des distributions de transition et d'émission gaussiennes). Si vous remplacez le noyau de transition par un mélange de Gaussiens, la distribution résultante n'est plus dans la famille exponentielle (mais elle conserve toujours la riche structure d'indépendance conditionnelle caractéristique des modèles graphiques pratiques).

[1] http://en.wikipedia.org/wiki/Markov_random_field

A dessiné
la source