Réseaux de croyances profondes ou machines Deep Boltzmann?

28

Je suis confus. Y a-t-il une différence entre les réseaux de croyances profondes et les machines Deep Boltzmann? Si oui, quelle est la différence?

machine-learning deep-learning rbm deep-belief-networks Jack Twain
la source
2
l'article de wikipedia sur les réseaux de croyances profondes est assez clair, bien qu'il serait utile / perspicace d'avoir une image plus grande de l'étymologie / de l'histoire des termes. fondamentalement, un réseau de croyances profondes est assez analogue à un réseau de neurones profond du pov probabiliste, et les machines de Boltzmann profondes sont un algorithme utilisé pour mettre en œuvre un réseau de croyances profondes. apparemment, tous les RNA ont des interprétations / modèles probabilistes mais ils ne sont pas aussi facilement / directement obtenus que certains modèles de "croyance" bayésiens / probabilistes.
vzn

Réponses:

19

Bien que les réseaux Deep Belief (DBN) et les machines Deep Boltzmann (DBM) soient très similaires schématiquement, ils sont en réalité très différents sur le plan qualitatif. En effet, les DBN sont dirigés et les DBM ne sont pas dirigés. Si nous voulions les adapter à l'image ML plus large, nous pourrions dire que les DBN sont des réseaux de croyances sigmoïdes avec de nombreuses couches de variables latentes densément connectées et les DBM sont des champs aléatoires markoviens avec de nombreuses couches de variables latentes densément connectées.

En tant que tels, ils héritent de toutes les propriétés de ces modèles. Par exemple, dans un DBN calculant , où v est la couche visible et h les variables cachées, c'est facile. D'un autre côté, calculer P de quoi que ce soit est normalement impossible à calculer dans un DBM en raison de la fonction de partition intraitable.P(v|h)vhP

Cela étant dit, il existe des similitudes. Par exemple:

  1. Les DBN et le DBM d'origine fonctionnent tous les deux à l'aide de schémas d'initialisation basés sur une formation gourmande en couches de machines Bolzmann restreintes (RBM)
  2. Ils sont tous les deux "profonds".
  3. Ils comportent tous les deux des couches de variables latentes qui sont densément connectées aux couches au-dessus et en dessous, mais sans connexions intracouches, etc.
alto
la source
1
Comment les DBN peuvent-ils être des réseaux de croyances sigmoïdes? !! Les couches d'un DBN sont des RBM donc chaque couche est un champ aléatoire markovien!
Jack Twain
Je pense qu'il y a une faute de frappe ici "C'est parce que les DBM sont dirigés et les DBM ne sont pas dirigés.". Je pense que vous vouliez dire que les DBN ne sont pas dirigés
Jack Twain
@AlexTwain Oui, aurait dû lire "Les DBN sont dirigés". Même si vous pouvez initialiser un DBN en apprenant d'abord un tas de RBM, à la fin, vous déliez généralement les poids et vous vous retrouvez avec un réseau de croyances sigmoïdes profondes (dirigé). Dans la plupart des travaux DBN originaux, les gens ont laissé la couche supérieure non dirigée, puis ont reçu une amende ajustée avec quelque chose comme le réveil-sommeil, auquel cas vous avez un hybride.
alto
Voulez-vous dire en 3. qu'ils n'ont pas de connexions "intralayer" (par exemple entre les nœuds dans la couche cachée) plutôt que * intercouche (par exemple de l'entrée à la couche cachée)?
ddiez
@ddiez Ouais, c'est comme ça que ça devrait se lire. Merci pour la correction.
alto
4

Les deux sont des modèles graphiques probabilistes composés de couches empilées de RBM. La différence réside dans la façon dont ces couches sont connectées.

Ce lien indique assez clairement: http://jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf . La figure 2 et la section 3.1 sont particulièrement pertinentes.

Pour résumer:

Dans un DBN, les connexions entre les couches sont dirigées. Par conséquent, les deux premières couches forment un RBM (un modèle graphique non orienté), puis les couches suivantes forment un modèle génératif dirigé.

Dans un DBM, la connexion entre toutes les couches n'est pas dirigée, ainsi chaque paire de couches forme un RBM.

Darkensberge
la source
donc une machine profonde de Boltzmann est encore construite à partir de RBM? Je fonde ma conclusion sur l'introduction et l'image dans le journal
Marin