Architectures neuronales: conception automatique basée sur les données

Les progrès récents dans les réseaux de neurones sont résumés par une séquence de nouvelles architectures caractérisées principalement par sa complexité croissante de conception. De LeNet5 (1994) à AlexNet (2012), à Overfeat (2013) et GoogleLeNet / Inception (2014) et ainsi de suite ...

Y a-t-il une tentative de laisser la machine décider / concevoir l'architecture à utiliser en fonction des données?

Vous pouvez également consulter la littérature sur la neuro-évolution . Exemples:

• Zaremba, Wojciech. Ilya Sutskever. Rafal Jozefowicz " Une exploration empirique des architectures de réseau récurrentes. " (2015): a utilisé le calcul évolutif pour trouver des structures RNN optimales.
• Franck Dernoncourt. " La Formation réticulaire médiale: un substrat neuronal pour la sélection d'action? Une évaluation via le calcul évolutif. ". La thèse de master. École Normale Supérieure Ulm. 2011.
• Bayer, Justin, Daan Wierstra, Julian Togelius et Jürgen Schmidhuber. " Evolving memory cell structures for sequence learning. " Dans International Conference on Artificial Neural Networks, pp. 755-764. Springer Berlin Heidelberg, 2009: a utilisé le calcul évolutif pour trouver des structures RNN optimales.

Apprentissage par renforcement:

• Pham, Hieu, Melody Y. Guan, Barret Zoph, Quoc V. Le et Jeff Dean. "Recherche efficace d'architecture neuronale via le partage de paramètres." arXiv preprint arXiv: 1802.03268 (2018). https://arxiv.org/pdf/1802.03268.pdf
• Zoph, Barret et Le, Quoc V. Recherche d'architecture neuronale avec apprentissage par renforcement. Dans ICLR, 2017. https://arxiv.org/abs/1611.01578
• Jose M Alvarez, Mathieu Salzmann. Apprendre le nombre de neurones dans les réseaux profonds. NIPS 2016. https://arxiv.org/abs/1611.06321

• Bowen Baker, Otkrist Gupta, Nikhil Naik, Ramesh Raskar. Conception d'architectures de réseaux neuronaux à l'aide de l'apprentissage par renforcement. https://arxiv.org/abs/1611.02167

• Barret Zoph, Quoc V. Le. Recherche d'architecture neuronale avec apprentissage par renforcement. https://arxiv.org/abs/1611.01578

Divers:

• Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford, Nando de Freitas. Apprendre à apprendre par descente de gradient par descente de gradient. https://arxiv.org/abs/1606.04474
• Franck Dernoncourt, Ji Young Lee Optimizing Neural Network Hyperparameters with Gaussian Processes for Dialog Act Classification , IEEE SLT 2016.
• Cortes, Corinna, Xavi Gonzalvo, Vitaly Kuznetsov, Mehryar Mohri et Scott Yang. "AdaNet: apprentissage structurel adaptatif des réseaux de neurones artificiels." arXiv preprint arXiv: 1607.01097 (2016). https://arxiv.org/abs/1607.01097 : Approche qui apprend à la fois la structure du réseau ainsi que ses poids.

Il semble que la recherche progresse dans cette direction:

• Miconi, Thomas. « Réseaux de neurones à structure différenciable », arXiv (2016): l'auteur présente le concept de structure de réseau différenciable pour l'inclure dans la fonction objectif.

L' AutoML de Google en est un exemple. Il a été appliqué avec succès sur l'ensemble de données ImageNet, résultant NASNet , qui à ce jour, a dépassé tous les autres modèles en termes de précision. Le document principal est ici:

Apprentissage des architectures transférables pour la reconnaissance d'image évolutive - Zoph, et. Al.