Dans l'article de DeepMind de 2015 sur l'apprentissage par renforcement profond, il déclare que «les tentatives précédentes de combiner RL avec des réseaux de neurones ont échoué en grande partie en raison d'un apprentissage instable». L'article énumère ensuite certaines causes de cela, en fonction...
J'utilise un réseau lstm et feed-forward pour classer le texte. Je convertis le texte en vecteurs uniques et les insère dans le lstm afin de pouvoir le résumer en une seule représentation. Ensuite, je le nourris à l'autre réseau. Mais comment former le lstm? Je veux juste classer le texte en...
Je lisais le livre de Yoshua Bengio sur l'apprentissage profond et il est dit à la page 224: Les réseaux convolutifs sont simplement des réseaux neuronaux qui utilisent la convolution à la place de la multiplication matricielle générale dans au moins une de leurs couches. cependant, je ne savais...
Est-il possible d'avoir des poids négatifs (après suffisamment d'époques) pour les réseaux neuronaux convolutionnels profonds lorsque nous utilisons ReLU pour toutes les couches
Récemment, j'ai lu un article de Yann Dauphin et al. Identifier et attaquer le problème du point de selle dans l'optimisation non convexe de haute dimension , où ils introduisent un algorithme de descente intéressant appelé Saddle-Free Newton , qui semble être exactement adapté pour l'optimisation...
Je modélise 15000 tweets pour la prédiction des sentiments en utilisant un LSTM monocouche avec 128 unités cachées en utilisant une représentation de type word2vec avec 80 dimensions. J'obtiens une précision de descente (38% avec aléatoire = 20%) après 1 époque. Plus l'entraînement fait baisser la...
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Vous souhaitez améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 10 mois . Je sais qu'il y a beaucoup de bibliothèques pour l'apprentissage...
Contexte: J'ai récemment compris à un niveau plus profond l'importance de l'augmentation des données lors de la formation des réseaux de neurones convolutionnels après avoir vu cet excellent discours de Geoffrey Hinton . Il explique que les réseaux de neurones convolutifs de génération actuelle ne...
La topologie du modèle Google Inception est disponible ici: Google Inception Netowrk J'ai remarqué qu'il y a 3 couches softmax dans ce modèle (# 154, # 152, # 145), et 2 d'entre elles sont une sorte d'évasion précoce de ce modèle. D'après ce que je sais, la couche softmax est pour la sortie finale,...
Je veux savoir ce que c'est et comment est-ce différent de l'assemblage? Supposons que je souhaite atteindre une grande précision dans la classification et la segmentation, pour une tâche spécifique, si j'utilise différents réseaux, tels que CNN, RNN, etc. pour y parvenir, est-ce que cela s'appelle...
Existe-t-il des groupes de recherche travaillant sur l'utilisation du deep learning pour les problèmes d'optimisation combinatoire?
Qu'est-ce que le Deep Learning Bayésien et comment est-il lié aux statistiques bayésiennes traditionnelles et au Deep Learning traditionnel? Quels sont les principaux concepts et mathématiques impliqués? Puis-je dire que ce sont juste des statistiques bayésiennes non paramétriques? Quels sont ses...
J'ai lu des articles sur la création manuelle d'images pour "tromper" un réseau de neurones (voir ci-dessous). Est-ce parce que les réseaux ne modélisent que la probabilité conditionnelle ? Si un réseau peut modéliser la probabilité conjointe p ( y , x ) , de tels cas se produiront-ils toujours?p (...
J'ai regardé les conférences CS231N de Stanford et j'essaie de comprendre quelques problèmes dans les architectures CNN. Ce que j'essaie de comprendre, c'est s'il existe des directives générales pour choisir la taille du filtre de convolution et des choses comme les enjambées ou est-ce plus un art...
J'étudie et j'essaie de mettre en œuvre des réseaux de neurones convolutionnels, mais je suppose que cette question s'applique aux perceptrons multicouches en général. Les neurones de sortie de mon réseau représentent l'activation de chaque classe: le neurone le plus actif correspond à la classe...
La normalisation des lots a été attribuée à des améliorations substantielles des performances dans les réseaux neuronaux profonds. De nombreux documents sur Internet montrent comment l'implémenter sur une base d'activation par activation. J'ai déjà implémenté backprop en utilisant l'algèbre...
Contexte: J'étudie le chapitre 6 du Deep Learning par Ian Goodfellow et Yoshua Bengio et Aaron Courville. Dans la section 6.2.2.2 (pages 182 de 183 qui peuvent être consultées ici ), l'utilisation de sigmoïde pour produire est motivée.P(y=1|x)P(y=1|x)P(y=1|x) Pour résumer une partie du matériel,...
Les progrès récents dans les réseaux de neurones sont résumés par une séquence de nouvelles architectures caractérisées principalement par sa complexité croissante de conception. De LeNet5 (1994) à AlexNet (2012), à Overfeat (2013) et GoogleLeNet / Inception (2014) et ainsi de suite ... Y a-t-il...
Je lisais le document Deep Residual Learning for Image Recognition et j'avais du mal à comprendre avec 100% de certitude ce qu'implique un bloc résiduel sur le plan informatique. En lisant leur article, ils ont la figure 2: qui illustre ce qu'est un bloc résiduel. Le calcul d'un bloc résiduel...
Je veux connaître la différence entre la régression linéaire dans une analyse d'apprentissage automatique régulière et la régression linéaire dans le cadre d'un "apprentissage profond". Quels algorithmes sont utilisés pour la régression linéaire dans le cadre de l'apprentissage en...