J'entraîne un réseau de neurones en utilisant i) SGD et ii) Adam Optimizer. Lorsque j'utilise un SGD normal, j'obtiens une courbe de perte d'entraînement en fonction de l'itération comme indiqué ci-dessous (la rouge). Cependant, lorsque j'ai utilisé Adam Optimizer, la courbe de perte d'entraînement...
Contexte: Une grande partie de la recherche moderne au cours des 4 dernières années (post alexnet ) semble s'être éloignée de l'utilisation de la formation préalable générative pour les réseaux de neurones afin d'obtenir des résultats de classification de pointe. Par exemple, les meilleurs...
Si j'ai un réseau neuronal convolutif (CNN), qui a environ 1 000 000 de paramètres, combien de données d'entraînement sont nécessaires (supposons que je fais une descente de gradient stochastique)? Y a-t-il une règle d'or? Notes supplémentaires: Lorsque j'ai effectué une descente de gradient...
J'ai beaucoup lu sur les réseaux de neurones convoloutionnels et je me demandais comment ils évitaient le problème du gradient de fuite. Je sais que les réseaux de croyances profondes empilent des auto-encodeurs à un seul niveau ou d'autres réseaux peu profonds pré-formés et peuvent donc éviter ce...
J'étudie ce tutoriel sur les encodeurs automatiques variationnels de Carl Doersch . Dans la deuxième page, il indique: L'un des frameworks les plus populaires est le Variational Autoencoder [1, 3], le sujet de ce tutoriel. Les hypothèses de ce modèle sont faibles et la formation est rapide par...
Dans l'apprentissage automatique de base, nous apprenons les «règles de base» suivantes: a) la taille de vos données doit être au moins 10 fois supérieure à la dimension VC de votre ensemble d'hypothèses. b) un réseau neuronal avec N connexions a une dimension VC d'environ N. Ainsi, lorsqu'un...
Je cherche à utiliser une version LSTM ( mémoire à court terme à long terme ) d'un réseau neuronal récurrent (RNN) pour modéliser les données de la série temporelle. À mesure que la longueur de séquence des données augmente, la complexité du réseau augmente. Je suis donc curieux de savoir quelle...
http://www.deeplearningbook.org/contents/ml.html La page 116 explique l'erreur bayes comme ci-dessous Le modèle idéal est un oracle qui connaît simplement la vraie distribution de probabilité qui génère les données. Même un tel modèle entraînera toujours une erreur sur de nombreux problèmes, car il...
Je n'ai pas trouvé de réponse satisfaisante à cela de Google . Bien sûr, si les données dont je dispose sont de l'ordre de millions, l'apprentissage en profondeur est la solution. Et j'ai lu que lorsque je n'ai pas de données volumineuses, il est peut-être préférable d'utiliser d'autres méthodes...
J'essaie d'apprendre à utiliser les réseaux de neurones. Je lisais ce tutoriel . Après avoir ajusté un réseau neuronal sur une série chronologique en utilisant la valeur en pour prédire la valeur en t + 1, l'auteur obtient le graphique suivant, où la ligne bleue est la série chronologique, le vert...
Je cherche à faire un projet de reconnaissance optique de caractères (OCR). Après avoir fait quelques recherches, je suis tombé sur une architecture qui semble intéressante: CNN + RNN + CTC. Je connais les réseaux de neurones alambiqués (CNN) et les réseaux de neurones récurrents (RNN), mais...
Au fur et à mesure que nous explorons la littérature sur les réseaux de neurones , nous arrivons à identifier d'autres méthodes avec des topologies neuromorphiques (architectures de type "réseau de neurones"). Et je ne parle pas du théorème de l'approximation universelle . Des exemples sont donnés...
À quel moment commençons-nous à classer les réseaux de neurones multicouches en tant que réseaux de neurones profonds ou à le dire autrement «Quel est le nombre minimum de couches dans un réseau neuronal
Disons que j'écris un algorithme pour construire un autoencodeur empilé à 2 couches et un réseau neuronal à 2 couches. S'agit-il des mêmes choses ou de la même différence? Ce que je comprends, c'est que lorsque je crée un encodeur automatique empilé, je crée couche par couche. Pour le réseau...
Tous les exemples que j'ai trouvés en utilisant des réseaux de neurones de croyance profonde ou convolutionnels les utilisent pour la classification d'images, la détection de chatacter ou la reconnaissance vocale. Les réseaux de neurones profonds sont-ils également utiles pour les tâches de...
Ceci est en référence à l'article Localisation efficace des objets utilisant des réseaux convolutionnels , et d'après ce que je comprends, le décrochage est implémenté en 2D. Après avoir lu le code de Keras sur la façon dont le décrochage 2D spatial est implémenté, un masque binaire aléatoire de...
La littérature sur l'apprentissage en profondeur regorge de trucs astucieux avec l'utilisation de taux d'apprentissage non constants dans la descente de gradient. Des choses comme la décroissance exponentielle, RMSprop, Adagrad, etc. sont faciles à mettre en œuvre et sont disponibles dans tous les...
Comment la couche d'intégration est-elle formée dans la couche d'intégration Keras? (par exemple, utiliser le backend tensorflow, ce qui signifie qu'il est similaire à word2vec, glove ou fasttext) Supposons que nous n'utilisions pas une intégration
Particulièrement dans le contexte des compétitions kaggle, j'ai remarqué que la performance du modèle est une question de sélection / ingénierie de fonctionnalités. Bien que je puisse pleinement comprendre pourquoi c'est le cas dans le cas des algorithmes ML plus conventionnels / old-school, je ne...
La topologie du modèle Google Inception est disponible ici: Google Inception Netowrk J'ai remarqué qu'il y a 3 couches softmax dans ce modèle (# 154, # 152, # 145), et 2 d'entre elles sont une sorte d'évasion précoce de ce modèle. D'après ce que je sais, la couche softmax est pour la sortie finale,...