Bases de l'apprentissage en profondeur

Je recherche un article détaillant les fondements mêmes de l'apprentissage profond. Idéalement comme le cours Andrew Ng pour l'apprentissage en profondeur. Savez-vous où je peux trouver ça?

Ce lien contient une quantité incroyable de littérature d'apprentissage en profondeur. Pour résumer ici (dans l'ordre idéal pour un débutant) - NOTE: Toutes ces ressources utilisent principalement python.

1) Tout d'abord, une connaissance de base de l'apprentissage automatique est requise. J'ai trouvé que Caltech's Learning from data était idéal pour tous les cours de machine learning disponibles sur le net.

Le cours Coursera d'Andrew Ng est également très bon.

2) Pour les réseaux de neurones, personne ne l'explique mieux que le Dr Patrick Winston . Les affectations doivent être essayées pour une meilleure compréhension. Ils sont en python.

3) Pour une meilleure compréhension des réseaux de neurones, le cours de Michael Nielsen doit être suivi (comme suggéré par Alexey). C'est assez basique mais ça marche.

4) Pour les réseaux de neurones profonds et leur mise en œuvre plus rapide sur les GPU, il existe plusieurs frameworks disponibles, tels que Theano , Caffe , Pybrain , Torch , etc. Parmi ceux-ci, Theano offre une meilleure fonctionnalité de bas niveau qui permet à son utilisateur de créer des NN personnalisés. C'est une bibliothèque python, donc pouvoir utiliser numpy, scikit-learn, matplotlib, scipy avec elle est un gros plus. Le didacticiel d'apprentissage approfondi écrit par Lisa Lab doit être testé pour une meilleure compréhension de theano.

5) Pour les réseaux de neurones convolutifs, suivez le tutoriel d'andrej karpathy .

6) Pour un apprentissage non supervisé, suivez ici et ici .

7) Pour une intersection d'apprentissage profond et de PNL, suivez la classe de Richard Socher .

8) Pour les LSTM, lire Hochreiter, S., et Schmidhuber, J. (1997). Mémoire longue durée. Calcul neuronal, 9 (8), 1735-1780 et Graves, Alex. Marquage de séquence supervisé avec des réseaux de neurones récurrents. Vol. 385. Springer, 2012 .

Voici le code Theano de LSTM .

Le sujet est nouveau, donc la majeure partie de la sagesse est dispersée dans les journaux, mais voici deux livres récents:

• Deep Learning , Yoshua Bengio, Ian J. Goodfellow, Aaron Courville.
• Deep Learning: méthodes et applications , Li Deng et Dong Yu.

Et du matériel pratique: http://deeplearning.net/tutorial/

• Tutoriel ACL 2012 + NAACL 2013: Deep Learning pour NLP (sans Magic)

Réseaux de neurones et apprentissage profond par Michael Nielsen. Le livre est toujours en cours, mais il semble assez intéressant et prometteur. Et c'est gratuit! Voici le lien: http://neuralnetworksanddeeplearning.com/

Il n'y a que 5 chapitres à ce jour, et la plupart d'entre eux parlent des réseaux de neurones habituels, mais cela vaut quand même le coup d'œil.

Mise à jour: le livre est terminé!

Références principales:

Cours sur l'apprentissage profond:

• Le cours d'Andrew Ng sur l'apprentissage automatique a une belle section d'introduction sur les réseaux de neurones.
• Cours de Geoffrey Hinton: Coursera Neural Networks for Machine Learning (automne 2012)
• Livre gratuit de Michael Nielsen, Neural Networks and Deep Learning
• Yoshua Bengio, Ian Goodfellow et Aaron Courville ont écrit un livre sur l'apprentissage profond
• Cours de Hugo Larochelle (vidéos + diapositives) à l'Université de Sherbrooke
• Tutoriel de Stanford (Andrew Ng et al.) Sur l'apprentissage des fonctionnalités non supervisées et l'apprentissage en profondeur
• Cours d'Oxford ML 2014-2015
• Cours d'apprentissage en profondeur NVIDIA (été 2015)
• Cours de Deep Learning de Google sur Udacity (janvier 2016)

Orienté PNL:

• Stanford CS224d: Deep Learning for Natural Language Processing (printemps 2015) par Richard Socher
• Tutoriel donné au NAACL HLT 2013: Deep Learning for Natural Language Processing (without Magic) (vidéos + slides)

Orienté vers la vision:

• CS231n Convolutional Neural Networks for Visual Recognition par Andrej Karpathy (une version précédente, plus courte et moins polie: le guide du pirate sur les réseaux de neurones ).

Tutoriels spécifiques à la boîte à outils:

• DL4J (Java): http://deeplearning4j.org/documentation.html
• Theano (Python, Y. Bengio): http://deeplearning.net/
• Apprentissage automatique avec Torch7 (Lua, LeCun): http://code.madbits.com/wiki/doku.php
• H2O Deep Learning (Java): http://0xdata.com/product/deep-learning/
• Caffee (C ++, UCB): http://caffe.berkeleyvision.org/
• Cours d'apprentissage en profondeur de Nervana

Il y a aussi la récente thèse de doctorat de Richard Socher sur l'intersection de la PNL et de l'apprentissage profond: apprentissage profond récursif pour le traitement du langage naturel et la vision par ordinateur

Pour comprendre la dérivation de l'algorithme de propagation arrière, je suggère une vidéo youtube de Ryan Harris qui est moins intimidante. Vous pouvez également trouver une deuxième vidéo.