Je suis nouveau sur les réseaux de neurones récurrents (RNN) et j'apprends toujours les concepts. Je comprends à un niveau abstrait qu'un Echo State Network (ESN) est capable de (re) produire une séquence d'entrées, c'est-à-dire un signal, même après que l'entrée a été supprimée. Cependant, j'ai...
Je passe par le blog suivant sur le réseau de neurones LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ L'auteur remodèle le vecteur d'entrée X en [échantillons, pas de temps, caractéristiques] pour différentes configurations de LSTM....
Si vous avez une demi-page pour expliquer l' abandon , comment procéderiez-vous? Quelle est la raison d'être de cette
J'ai besoin de quelques ressources pour commencer à utiliser les réseaux de neurones pour la prévision des séries chronologiques. Je me méfie de mettre en œuvre du papier et de découvrir ensuite qu'ils ont largement surestimé le potentiel de leurs méthodes. Donc, si vous avez de l'expérience avec...
J'essaie de comprendre la fonction de perte de Yolo v2: λc o o r d∑i = 0S2∑j = 0B1o b jje j[ ( xje- x^je)2+ ( yje- y^je)2]+ λc o o r d∑i = 0S2∑j = 0B1o b jje j[ ( wje--√- w^je--√)2+ ( hje--√- h^je--√)2]+ ∑i = 0S2∑j = 0B1o b jje j( Cje- C^je)2+ λn o o b j∑i = 0S2∑j = 0B1n o o b jje j( Cje- C^je)2+...
J'ai rencontré quelques moyens de base pour mesurer la complexité des réseaux de neurones: Naïf et informel: comptez le nombre de neurones, de neurones cachés, de couches ou de couches cachées Dimension VC (Eduardo D. Sontag [1998] "Dimension VC des réseaux de neurones" [ pdf ].) Une mesure de la...
J'essaie de comprendre le contexte du célèbre livre de Minsky et Papert "Perceptrons" de 1969, si critique pour les réseaux de neurones. Pour autant que je sache, il n'y avait pas encore d'autres algorithmes d'apprentissage supervisé génériques, à l'exception du perceptron: les arbres de décision...
J'étudie les réseaux de neurones convolutifs (CNN) en raison de leurs applications en vision par ordinateur. Je connais déjà les réseaux de neurones standard à alimentation, donc j'espère que certaines personnes ici peuvent m'aider à faire un pas de plus dans la compréhension des CNN. Voici ce que...
Lors de l'apprentissage du réseau neuronal convolutionnel, j'ai des questions concernant la figure suivante. 1) C1 dans la couche 1 a 6 cartes de caractéristiques, cela signifie-t-il qu'il y a six noyaux convolutionnels? Chaque noyau convolutionnel est utilisé pour générer une carte d'entités basée...
Dans la littérature sur les réseaux de neurones, nous rencontrons souvent le mot «tenseur». Est-ce différent d'un vecteur? Et à partir d'une matrice? Avez-vous un exemple précis qui clarifie sa définition? Je suis un peu confus quant à sa définition. Wikipédia n'aide pas et j'ai parfois...
Je m'excuse à l'avance pour le fait que j'arrive toujours à ce sujet. J'essaie de comprendre les avantages et les inconvénients de l'utilisation de tanh (carte -1 à 1) par rapport à sigmoïde (carte 0 à 1) pour ma fonction d'activation des neurones. D'après ma lecture, cela ressemblait à une chose...
J'entraîne un réseau de neurones en utilisant i) SGD et ii) Adam Optimizer. Lorsque j'utilise un SGD normal, j'obtiens une courbe de perte d'entraînement en fonction de l'itération comme indiqué ci-dessous (la rouge). Cependant, lorsque j'ai utilisé Adam Optimizer, la courbe de perte d'entraînement...
C'est une question de terminologie. Parfois, je vois des gens se référer aux réseaux de neurones profonds comme des "perceptrons multicouches", pourquoi cela? Un perceptron, m'a-t-on appris, est un classificateur à couche unique (ou régresseur) avec une sortie de seuil binaire utilisant une manière...
Je n'ai pas trouvé de réponse satisfaisante à cela de Google . Bien sûr, si les données dont je dispose sont de l'ordre de millions, l'apprentissage en profondeur est la solution. Et j'ai lu que lorsque je n'ai pas de données volumineuses, il est peut-être préférable d'utiliser d'autres méthodes...
Je lisais sur l' optimiseur Adam pour le Deep Learning et suis tombé sur la phrase suivante dans le nouveau livre Deep Learning de Begnio, Goodfellow et Courtville: Adam inclut des corrections de biais dans les estimations des moments du premier ordre (le terme de momentum) et des moments du second...
Dans la formation en mini-lots d'un réseau de neurones, j'ai entendu qu'une pratique importante est de mélanger les données d'entraînement avant chaque époque. Quelqu'un peut-il expliquer pourquoi le brassage à chaque époque aide? De la recherche google, j'ai trouvé les réponses suivantes: il aide...
Tensorflow propose un exemple de didacticiel sur la classification de CIFAR-10 . Dans le didacticiel, la perte d'entropie croisée moyenne sur le lot est minimisée. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits...
Si j'ai un réseau neuronal convolutif (CNN), qui a environ 1 000 000 de paramètres, combien de données d'entraînement sont nécessaires (supposons que je fais une descente de gradient stochastique)? Y a-t-il une règle d'or? Notes supplémentaires: Lorsque j'ai effectué une descente de gradient...
Les endroits que j'ai lus sur la malédiction de la dimensionnalité l'expliquent conjointement avec kNN principalement et les modèles linéaires en général. Je vois régulièrement les meilleurs classeurs de Kaggle utiliser des milliers d'entités sur un ensemble de données qui ne contient pratiquement...
Quelle est la dérivée de la fonction d'activation ReLU définie comme: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Qu'en est-il du cas particulier où il y a une discontinuité dans la fonction à