Quelle est l'origine des réseaux de neurones auto-encodeurs?

13

J'ai recherché sur Google, Wikipedia, Google scholar, et plus, mais je n'ai pas pu trouver l'origine des Autoencoders. C'est peut-être l'un de ces concepts qui a évolué très progressivement, et il est impossible de retracer un point de départ clair, mais je voudrais quand même trouver une sorte de résumé des principales étapes de leur développement.

Le chapitre sur les encodeurs automatiques dans Ian Goodfellow, Yoshua Bengio et le livre Deep Learning d'Aaron Courville dit:

L'idée des auto-encodeurs fait partie du paysage historique des réseaux de neurones depuis des décennies (LeCun, 1987; Bourlard et Kamp, 1988; Hinton et Zemel, 1994). Traditionnellement, les encodeurs automatiques étaient utilisés pour réduire la dimensionnalité ou apprendre les fonctionnalités.

Cette présentation de Pascal Vincent dit:

Le débruitage utilisant des encodeurs automatiques classiques a en fait été introduit beaucoup plus tôt (LeCun, 1987; Gallinari et al., 1987), comme alternative aux réseaux de Hopfield (Hopfield, 1982).

Cela semble impliquer que les "autoencoders classiques" existaient auparavant: LeCun et Gallinari les ont utilisés mais ne les ont pas inventés. Je ne vois aucune trace de "codeurs automatiques classiques" avant 1987.

Des idées?

neural-networks autoencoders history MiniQuark
la source

Réponses:

9

Selon l'histoire fournie par Schmidhuber, « Deep learning in neural networks: an overview », Neural Networks (2015), les auto-encodeurs ont été proposés comme méthode de pré-formation non supervisée dans Ballard, «Modular learning in neural networks», Actes AAAI (1987). Cependant, il n'est pas clair si c'est la première fois que des auto-encodeurs ont été utilisés; c'est juste la première fois qu'ils sont utilisés à des fins de pré-formation ANN .

Comme le montre clairement l'introduction de l'article de Schmidhuber, il est quelque peu difficile d'attribuer toutes les idées utilisées dans les RNA car la littérature est diverse et la terminologie a évolué au fil du temps.

Sycorax dit de réintégrer Monica
la source
1
Le document écrit par Ballard, a des terminologies complètement différentes, et il n'y a même pas un reniflement du concept Autoencoder dans son intégralité. Peut-être AE n'a-t-il pas de papier d'origine.
abunickabhi
2
L'article de Schmudhuber souligne que la terminologie a changé au fil du temps et que différentes personnes ont redécouvert les mêmes sujets à maintes reprises. Il n'est pas surprenant que l'auteur n'utilise pas le mot «encodeur automatique»
Sycorax dit Reinstate Monica
4

L'article ci-dessous parle indirectement de l'autoencodeur et remonte à 1986. (qui est un an plus tôt que l'article de Ballard en 1987)

DE Rumelhart, GE Hinton et RJ Williams, «Apprendre les représentations internes par propagation d'erreur». , Traitement distribué parallèle. Vol 1: Fondations. MIT Press, Cambridge, MA, 1986.

L'article décrit essentiellement un nouveau type de réseau à action directe à cette époque, et son formalisme mathématique.

abunickabhi
la source