différence entre réseau neuronal et apprentissage en profondeur

10

En termes de différence entre réseau neuronal et apprentissage en profondeur, nous pouvons énumérer plusieurs éléments, tels que davantage de couches sont incluses, un ensemble de données massif, un matériel informatique puissant pour rendre possible la formation d'un modèle compliqué.

En plus de cela, y a-t-il une explication plus détaillée concernant la différence entre NN et DL?

user3269
la source
3
Pour autant que je sache, le simple fait d'avoir plusieurs couches cachées est suffisant pour rendre un réseau "profond"; plus de données et des ordinateurs plus grands sont davantage un symptôme de la disponibilité croissante des deux pour les tâches d'apprentissage automatique.
Sycorax dit Réintégrer Monica le
Peut-être que cette question devrait être migrée vers le nouvel échange de pile d'intelligence artificielle ?
WilliamKF
2
@WilliamKF C'est carrément sur le sujet ici.
Sycorax dit Reinstate Monica

Réponses:

4

Frank Dernoncourt a une meilleure réponse à usage général, mais je pense qu'il vaut la peine de mentionner que lorsque les gens utilisent le terme large "Deep Learning", ils impliquent souvent l'utilisation de techniques récentes, comme la convolution, que vous ne trouverez pas dans l'ancien / traditionnel réseaux de neurones (entièrement connectés). Pour les problèmes de reconnaissance d'image, la convolution peut permettre des réseaux de neurones plus profonds car les neurones / filtres alambiqués réduisent quelque peu le risque de surapprentissage en partageant les poids.

Ryan Zotti
la source
1

Les réseaux de neurones avec beaucoup de couches sont des architectures profondes.

Cependant, l'algorithme d'apprentissage de rétropropagation utilisé dans les réseaux de neurones ne fonctionne pas bien lorsque le réseau est très profond. L'apprentissage des architectures dans les architectures profondes («deep learning») doit y remédier. Par exemple, les machines Boltzmann utilisent à la place un algorithme d'apprentissage contrastif.

Concevoir une architecture profonde est facile. Concevoir un algorithme d'apprentissage qui fonctionne bien pour une architecture profonde s'est avéré difficile.

Neil G
la source
Mais il semble que l'algorithme de rétropropagation soit toujours utilisé pour former le réseau de convection et le réseau récurrent, même s'ils exploitent certaines techniques d'optimisation numérique récemment développées, telles que la normalisation par lots.
user3269
La normalisation et l'abandon de lots @ user3269 sont des exemples de modifications apportées à l'algorithme d'apprentissage pour essayer de les faire fonctionner correctement dans les architectures profondes.
Neil G
0

L'apprentissage en profondeur nécessite un réseau neuronal ayant plusieurs couches - chaque couche effectuant des transformations mathématiques et alimentant la couche suivante. La sortie de la dernière couche est la décision du réseau pour une entrée donnée. Les couches entre les couches d'entrée et de sortie sont appelées couches cachées.

Un réseau neuronal d'apprentissage en profondeur est une collection massive de perceptrons interconnectés en couches. Les poids et les biais de chaque perceptron dans le réseau influencent la nature de la décision de sortie de l'ensemble du réseau. Dans un réseau neuronal parfaitement réglé, toutes les valeurs de poids et de biais de tout le perceptron sont telles que la décision de sortie est toujours correcte (comme prévu) pour toutes les entrées possibles. Comment les pondérations et les biais sont-ils configurés? Cela se produit de manière itérative lors de la formation du réseau - appelé apprentissage en profondeur. (Sharad Gandhi)

Muhammed Shakir Misarwala
la source