Quelle est la réalité de cette diapositive sur l'apprentissage en profondeur affirmant que toutes les améliorations par rapport aux années 80 ne sont dues qu'à beaucoup plus de données et à des ordinateurs beaucoup plus rapides?

J'écoutais un discours et j'ai vu cette diapositive:

Est-ce vrai?

Je parcourais AI StackExchange et suis tombé sur une question très similaire: qu'est - ce qui distingue le «Deep Learning» des autres réseaux de neurones?

Comme AI StackExchange fermera demain (à nouveau), je vais copier les deux premières réponses ici (contributions des utilisateurs sous licence cc by-sa 3.0 avec attribution requise):

Auteur: mommi84less

Deux articles de 2006 bien cités ont ramené l'intérêt de la recherche à l'apprentissage en profondeur. Dans "Un algorithme d'apprentissage rapide pour les réseaux de croyances profondes" , les auteurs définissent un réseau de croyances profondes comme:

[...] des réseaux de croyances densément connectés qui ont de nombreuses couches cachées.

Nous trouvons presque la même description pour les réseaux profonds dans " Greedy Layer-Wise Training of Deep Networks" :

Les réseaux neuronaux multicouches profonds présentent de nombreux niveaux de non-linéarités [...]

Ensuite, dans le document d'enquête "Représentation Learning: A Review and New Perspectives" , l'apprentissage en profondeur est utilisé pour englober toutes les techniques (voir aussi cet exposé ) et est défini comme:

[...] construire plusieurs niveaux de représentation ou apprendre une hiérarchie de fonctionnalités.

L'adjectif «profond» a donc été utilisé par les auteurs ci-dessus pour mettre en évidence l' utilisation de multiples couches cachées non linéaires .

Auteur: lejlot

Juste pour ajouter à la réponse @ mommi84.

L'apprentissage en profondeur ne se limite pas aux réseaux de neurones. Il s'agit d'un concept plus large que les DBN de Hinton, etc. L'apprentissage en profondeur concerne

construire plusieurs niveaux de représentation ou apprendre une hiérarchie de fonctionnalités.

C'est donc un nom pour les algorithmes d' apprentissage de la représentation hiérarchique . Il existe des modèles profonds basés sur des modèles de Markov cachés, des champs aléatoires conditionnels, des machines à vecteurs de support, etc. La seule chose courante est qu'au lieu de (populaire dans les années 90) l' ingénierie des fonctionnalités , où les chercheurs essayaient de créer un ensemble de fonctionnalités, qui est le mieux pour résoudre certains problèmes de classification - ces machines peuvent élaborer leur propre représentation à partir de données brutes. En particulier - appliqués à la reconnaissance d'images (images brutes), ils produisent une représentation à plusieurs niveaux composée de pixels, puis de lignes, puis de traits de visage (si nous travaillons avec des visages) comme le nez, les yeux et enfin - des visages généralisés. S'ils sont appliqués au traitement du langage naturel - ils construisent un modèle de langage, qui relie les mots en morceaux, les morceaux en phrases, etc.

Une autre diapositive intéressante:

la source

Le décrochage, de Hinton en 2006, serait la plus grande amélioration de l'apprentissage en profondeur des 10 dernières années, car il réduit beaucoup le surapprentissage.

C'est certainement une question qui suscitera la controverse.

Lorsque les réseaux de neurones sont utilisés dans l'apprentissage en profondeur, ils sont généralement formés d'une manière qui n'était pas utilisée dans les années 1980. En particulier, des stratégies qui préentraînent des couches individuelles du réseau neuronal pour reconnaître des caractéristiques à différents niveaux sont censées faciliter la formation de réseaux à plusieurs couches. C'est certainement un nouveau développement depuis les années 1980.

La clé est le mot «profond» dans l'apprentissage en profondeur. Quelqu'un (oubli ref) dans les années 80 a prouvé que toutes les fonctions non linéaires pouvaient être approximées par un réseau neuronal à une seule couche avec, bien sûr, un nombre suffisamment grand d'unités cachées. Je pense que ce résultat a probablement découragé les gens de chercher un réseau plus profond à l'époque antérieure.

Mais la profondeur du réseau est ce qui s'est avéré être l'élément crucial de la représentation hiérarchique qui est à l'origine du succès de nombreuses applications d'aujourd'hui.

Pas exactement, l'ANN commence dans les années 50. Découvrez l'une des diapositives de la star du rock ML Yann LeCun pour une intro authentique et complète. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf