Je suis nouveau dans le domaine de l'apprentissage en profondeur et pour moi, la première étape a été de lire des articles intéressants sur le site deeeplearning.net. Dans des articles sur l'apprentissage en profondeur, Hinton et d'autres discutent principalement de l'appliquer à des problèmes d'image. Quelqu'un peut-il essayer de me répondre? Peut-il être appliqué au problème de la prévision des valeurs de séries chronologiques (données financières, trafic Internet, ...) et quelles sont les choses importantes sur lesquelles je devrais me concentrer si cela est possible?
54
Réponses:
Des travaux ont été menés sur l’adaptation de méthodes d’apprentissage approfondi aux données séquentielles. Une grande partie de ce travail a été consacrée au développement de "modules" pouvant être empilés de manière analogue à l’empilement de machines Boltzmann restreintes (RBM) ou d’auto-encodeurs pour former un réseau neuronal profond. Je vais en souligner quelques-uns ci-dessous:
la source
Oui, l'apprentissage en profondeur peut être appliqué aux prévisions de séries chronologiques. En fait, cela a déjà été fait à plusieurs reprises, par exemple:
Ce n’est pas vraiment un "cas spécial", l’apprentissage en profondeur concerne principalement la méthode de prétraitement (basée sur un modèle génératif), vous devez donc vous concentrer sur les mêmes choses que celles sur lesquelles vous vous concentrez lorsque vous effectuez un apprentissage en profondeur au sens traditionnel du terme. main, et les mêmes choses que vous vous concentrez tout en effectuant des prévisions de série chronologique sans apprentissage en profondeur.
la source
Les réseaux de neurones récurrents sont considérés comme un type d'apprentissage en profondeur (DL). Je pense que ce sont les outils DL les plus populaires pour l’apprentissage (1d) séquence à séquence. Elles sont actuellement à la base des approches de neural machine translation (NMT) (une première en 2014 chez LISA (UdeM), Google et probablement quelques autres dont je ne me souviens pas).
la source
Les séquences générées par Alex Graves avec des réseaux de neurones récurrents utilisent des réseaux récurrents et des cellules à mémoire à court terme pour prédire le texte et synthétiser l’écriture manuscrite.
Andrej Karpathy a écrit un blog sur la génération de séquences au niveau des personnages. Il utilise RNN dans son tutoriel.
Pour plus d'exemples, vous devriez regarder - Hochreiter, S., & Schmidhuber, J. (1997). Longue mémoire à court terme. Calcul neural, 9 (8), 1735-1780.
la source
Cela aidera peut-être:
Si vous avez une définition précise de votre fenêtre temporelle sur les données telles que des phrases dans cet article ou dans des paragraphes, vous pourrez utiliser LSTM, mais je ne suis pas sûr de savoir comment trouver la fenêtre temporelle qui n’est pas évidente et qui est plus sensible au contexte. Un exemple de cela peut être le nombre de données de journal que vous voyez sont liées et ce n'est pas une évidence.
la source