Quelle est la différence entre un réseau de neurones et un réseau de conviction profonde?

62

J'ai l'impression que lorsque les gens font référence à un réseau de «croyance profonde», il s'agit en réalité d'un réseau de neurones mais de très grande taille. Est-ce correct ou un réseau de conviction profonde implique-t-il également que l'algorithme lui-même est différent (c'est-à-dire, pas de réseau neuronal à feed forward, mais peut-être quelque chose avec des boucles de rétroaction)?

Vincent Warmerdam
la source

Réponses:

59

"Réseaux de neurones" est un terme habituellement utilisé pour désigner des réseaux de neurones à anticipation. Les réseaux de neurones profonds sont des réseaux de neurones à anticipation multiples comportant plusieurs couches.

Un réseau de croyance profonde n’est pas la même chose qu’un réseau de neurones profonds.

Comme vous l'avez souligné, un réseau de conviction profonde a des connexions non dirigées entre certaines couches. Cela signifie que la topologie du DNN et du DBN est différente par définition.

Les couches non dirigées dans le DBN sont appelées Machines Boltzmann restreintes. Ces couches peuvent être formées à l’aide d’un algorithme d’apprentissage non supervisé (divergence contrastée) très rapide (voici un lien ! Avec des détails).

Quelques autres commentaires:

Les solutions obtenues avec des réseaux de neurones plus profonds correspondent à des solutions moins performantes que les solutions obtenues pour des réseaux à 1 ou 2 couches cachées. Au fur et à mesure que l’architecture s’approfondit, il devient plus difficile d’obtenir une bonne généralisation à l’aide d’un NN profond.

En 2006, Hinton a découvert que des architectures plus profondes pouvaient obtenir de bien meilleurs résultats lorsque chaque couche (RBM) était pré-entraînée avec un algorithme d'apprentissage non supervisé (divergence divergente). Ensuite, le réseau peut être formé de manière supervisée en utilisant la rétropropagmentation afin de "peaufiner" les poids.

David Buchaca
la source
La différence principale entre la fonction d'un DNN et d'un DBN est-elle que les DBN fonctionnent dans les deux sens, entrée => sortie pour entraînement, sortie => entrée pour prédiction?
ZAR
5

" Un réseau de neurones profonds est un réseau de neurones artificiels avec feed-forward, qui comporte plus d'une couche d'unités cachées entre ses entrées et ses sorties. Chaque unité cachée utilise généralement la fonction logistique pour mapper son entrée totale à partir de la couche inférieure. , , à l’état scalaire, qu’il envoie au calque supérieur.jxjyj (Ref. (1)) ".

Cela dit, comme l'a mentionné David: " les réseaux de croyances profondes ont des connexions non dirigées entre les deux couches supérieures, comme dans un RBM ", ce qui contraste avec les réseaux de neurones à rétroaction standard. En général, le principal problème d'un DNN concerne sa formation, qui est certainement plus complexe qu'un NN à une seule couche. (Je ne travaille pas sur NN, c'est juste que j'ai lu le journal récemment.)

Référence: 1. Réseaux de neurones profonds pour la modélisation acoustique en reconnaissance vocale , par Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Abdel-Rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath et Brian Kingsbury dans le magazine IEEE Signal Processing [82] nov. 2012 ( Lien vers l'article original dans MSR )

usεr11852 dit Réintégrer Monic
la source
1
Un réseau BELIEF profond désigne généralement un réseau profond avec une pré-formation non supervisée (machines Boltzmann restreintes empilées formées à la divergence contrastive).
Alfa
5
@ user11852 Le document que vous avez associé distingue les réseaux de neurones profonds des réseaux de croyances profondes. Les réseaux de croyances profondes ont des connexions non dirigées entre les deux couches supérieures, comme dans un RBM.
David J. Harris
0

Content de voir les commentaires d'Alex ici. J'ai expliqué aux gens que DL est un réseau de neurones typique. Il n'y a pas de différence dans le schéma d'apprentissage. Un ANN précédent écrit en c (70s) a une option pour configurer plusieurs couches cachées. En fait, j'ai testé pour déterminer si davantage de couches cachées amélioraient la précision. Le nombre de couches ne rend pas DL différent de ANN.

Je déteste ce genre de termes de marketting. Maintenant, nous avons tellement d'experts en DL qui ne savent pas que DL est en réalité ANN. Parce que le marquage est si bon et si fort, les gens pensent que nous avons beaucoup progressé dans le domaine de l'apprentissage automatique. Mais rien n'est nouveau!

Kihoon Yoon
la source
4
Il y a de nouvelles choses en fait. Certes, les ANN étaient connus bien avant le battage médiatique de la DL. Ce que nous avons appris récemment, ce sont les nombreuses astuces nécessaires pour apprendre de tels réseaux de neurones profonds. Avec beaucoup plus de puissance de calcul, nous avons également découvert que les réseaux de neurones sont parfaits pour les images, le son et d’autres données pour lesquelles nous avions des difficultés à concevoir manuellement des fonctions. Il y a plus bien sûr.
Vladislavs Dovgalecs
1
Cette réponse semble être davantage un commentaire sur une question sans rapport. Je ne vois aucune mention de réseaux de croyances profondes.
Beldaz