Un domaine de machine learning dédié à l'apprentissage des représentations hiérarchiques des données, principalement réalisé avec des réseaux de neurones profonds.
J'entraîne un réseau de neurones mais la perte d'entraînement ne diminue pas. Comment puis-je réparer cela? Je ne parle pas de surajustement ou de régularisation. Je demande comment résoudre le problème où les performances de mon réseau n'améliorent pas l' ensemble de formation . Cette question est...
L’état actuel de la non-linéarité consiste à utiliser des unités linéaires rectifiées (ReLU) au lieu de la fonction sigmoïde dans un réseau neuronal profond. Quels sont les avantages? Je sais que la formation d'un réseau lorsque ReLU est utilisé serait plus rapide et inspirée davantage par la...
Récemment, j'ai lu sur l'apprentissage en profondeur et je suis confus sur les termes (ou dire technologies). Quelle est la différence entre Réseaux de neurones convolutifs (CNN), Machines Boltzmann restreintes (RBM) et Auto-encodeurs?
Je n'ai pas vu la question posée précisément en ces termes, et c'est pourquoi je pose une nouvelle question. Ce qui m'intéresse, ce n'est pas la définition d'un réseau de neurones, mais la différence réelle avec un réseau de neurones profonds. Pour plus de contexte: je sais ce qu'est un réseau de...
Je suis en train de faire le tutoriel Udacity Deep Learning. Dans la leçon 3, ils parlent d'une convolution 1x1. Cette convolution 1x1 est utilisée dans Google Inception Module. J'ai du mal à comprendre ce qu'est une convolution 1x1. J'ai aussi vu ce post de Yann Lecun. Quelqu'un pourrait-il bien...
Il existe quelques variantes sur la façon de normaliser les images, mais la plupart semblent utiliser ces deux méthodes: Soustrayez la moyenne par canal calculée pour toutes les images (par exemple, VGG_ILSVRC_16_layers ) Soustrayez par pixel / canal calculé sur toutes les images (par exemple,...
Au cours des dernières années, les réseaux de neurones convolutionnels (ou peut-être les réseaux de neurones profonds en général) sont devenus de plus en plus profonds, avec des réseaux à la pointe de la technologie allant de 7 couches ( AlexNet ) à 1 000 couches ( réseaux résiduels) en 4 années....
Une époque en descente de gradient stochastique est définie comme un passage unique dans les données. Pour chaque minibatch SGD, échantillons sont extraits, le gradient calculé et les paramètres mis à jour. Dans le réglage d'époque, les échantillons sont prélevés sans remplacement.kkk Mais cela...
J'ai l'impression que lorsque les gens font référence à un réseau de «croyance profonde», il s'agit en réalité d'un réseau de neurones mais de très grande taille. Est-ce correct ou un réseau de conviction profonde implique-t-il également que l'algorithme lui-même est différent (c'est-à-dire, pas de...
Je me demandais s'il existait de bonnes bibliothèques R pour les réseaux de neurones d'apprentissage en profondeur? Je sais qu'il ya la nnet, neuralnetet RSNNS, mais aucun d' entre eux semblent mettre en œuvre des méthodes d'apprentissage en profondeur. Je suis particulièrement intéressé par les...
Je suis nouveau dans le domaine de l'apprentissage en profondeur et pour moi, la première étape a été de lire des articles intéressants sur le site deeeplearning.net. Dans des articles sur l'apprentissage en profondeur, Hinton et d'autres discutent principalement de l'appliquer à des problèmes...
Dans la plupart des codes Tensorflow, j'ai constaté qu'Adam Optimizer est utilisé avec un taux d'apprentissage constant 1e-4(0,0001). Le code a généralement l'aspect suivant: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to...
Il existe des réseaux de neurones récurrents et des réseaux de neurones récursifs. Les deux sont généralement désignés par le même acronyme: RNN. Selon Wikipedia , NN récurrent est en réalité NN récursif, mais je ne comprends pas vraiment l'explication. De plus, je ne semble pas trouver ce qui est...
Dans un récent post de blog de Rong Ge, il était dit que: On pense que pour de nombreux problèmes, dont l’apprentissage de réseaux profonds, presque tous les minimums locaux ont une valeur fonctionnelle très proche de l’optimum global, et qu’il est donc suffisant de trouver un minimum local. D'où...
Au cours des dernières années, les réseaux de neurones convolutifs (CNN) sont devenus le nec plus ultra en matière de reconnaissance d’objets en vision par ordinateur. En règle générale, un CNN se compose de plusieurs couches convolutives, suivies de deux couches entièrement connectées. L'intuition...
Al Rahimi a récemment donné un discours très provocateur dans le NIPS 2017 comparant l'actuel apprentissage automatique à l'alchimie. L’une de ses affirmations est qu’il est nécessaire de revenir aux développements théoriques, de disposer de théorèmes simples prouvant des résultats fondamentaux....
J'essaie de comprendre la partie convolution des réseaux de neurones convolutionnels. En regardant la figure suivante: Je n'ai aucun problème à comprendre la première couche de convolution où nous avons 4 noyaux différents (de taille ), que nous convolrons avec l'image d'entrée pour obtenir 4...
Je veux apprendre les réseaux de neurones. Je suis un linguiste informatisé. Je connais des méthodes d’apprentissage statistique et peut coder en Python. Je cherche à commencer avec ses concepts et à connaître un ou deux modèles populaires qui pourraient être utiles du point de vue de la...
J'ai découvert qu'Imagenet et d'autres grands réseaux CNN utilisent des couches de normalisation de réponse locale. Cependant, je ne peux pas trouver autant d'informations à leur sujet. Quelle est leur importance et quand doivent-ils être utilisés? De
J'ai trouvé des unités linéaires rectifiées (ReLU) louées à plusieurs endroits comme solution au problème du gradient de fuite pour les réseaux de neurones. En d’autres termes, on utilise max (0, x) comme fonction d’activation. Lorsque l'activation est positive, il est évident qu'elle est meilleure...