J'ai recherché sur Google, Wikipedia, Google scholar, et plus, mais je n'ai pas pu trouver l'origine des Autoencoders. C'est peut-être l'un de ces concepts qui a évolué très progressivement, et il est impossible de retracer un point de départ clair, mais je voudrais quand même trouver une sorte de...
J'étudie l'architecture du réseau neuronal siamois introduit par Yann LeCun et ses collègues en 1994 pour la reconnaissance des signatures ( "Vérification de signature utilisant un réseau neuronal siamois à retardement" .pdf , NIPS 1994) J'ai compris l'idée générale de cette architecture, mais je...
J'utilise un réseau lstm et feed-forward pour classer le texte. Je convertis le texte en vecteurs uniques et les insère dans le lstm afin de pouvoir le résumer en une seule représentation. Ensuite, je le nourris à l'autre réseau. Mais comment former le lstm? Je veux juste classer le texte en...
Je lisais le livre de Yoshua Bengio sur l'apprentissage profond et il est dit à la page 224: Les réseaux convolutifs sont simplement des réseaux neuronaux qui utilisent la convolution à la place de la multiplication matricielle générale dans au moins une de leurs couches. cependant, je ne savais...
À mon avis, les données d'entrée corrélées doivent conduire à un sur-ajustement dans les réseaux de neurones car le réseau apprend la corrélation, par exemple le bruit dans les données. Est-ce
Je viens de couvrir les réseaux de neurones artificiels dans le cours d'apprentissage automatique de Coursera et j'aimerais en savoir plus sur la théorie. Je trouve la motivation qu'ils imitent la biologie quelque peu insatisfaisante. En surface, il semble qu'à chaque niveau, nous remplaçons les...
Lors de l'initialisation des poids de connexion dans un réseau de neurones à action directe, il est important de les initialiser de manière aléatoire pour éviter toute symétrie que l'algorithme d'apprentissage ne serait pas en mesure de briser. La recommandation que j'ai vue à divers endroits (par...
Est-il possible d'avoir des poids négatifs (après suffisamment d'époques) pour les réseaux neuronaux convolutionnels profonds lorsque nous utilisons ReLU pour toutes les couches
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Vous souhaitez améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 10 mois . Je sais qu'il y a beaucoup de bibliothèques pour l'apprentissage...
J'essaie de former un réseau de neurones pour la classification, mais les étiquettes que j'ai sont plutôt bruyantes (environ 30% des étiquettes sont fausses). La perte d'entropie croisée fonctionne en effet, mais je me demandais s'il existe des alternatives plus efficaces dans ce cas? ou la perte...
Voici un exemple de code keras qui l'utilise: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))
Je ne pense pas qu'il puisse y avoir une réponse à tous les modèles d'apprentissage en profondeur. Quels modèles d'apprentissage profond sont paramétriques et lesquels ne le sont pas et
Après avoir regardé cette question: en essayant d'émuler la régression linéaire en utilisant Keras , j'ai essayé de rouler mon propre exemple, juste à des fins d'étude et pour développer mon intuition. J'ai téléchargé un simple ensemble de données et utilisé une colonne pour en prédire une autre....
Tout d'abord: je sais, il n'y a pas de nombre général de taille d'échantillon requis pour former un réseau neuronal. Cela dépend de trop de facteurs comme la complexité de la tâche, le bruit dans les données, etc. Et plus j'aurai d'échantillons de formation, meilleur sera mon réseau. Mais je me...
Y a-t-il une différence entre les termes "réseau neuronal" et
Je lisais le document Deep Residual Learning for Image Recognition et j'avais du mal à comprendre avec 100% de certitude ce qu'implique un bloc résiduel sur le plan informatique. En lisant leur article, ils ont la figure 2: qui illustre ce qu'est un bloc résiduel. Le calcul d'un bloc résiduel...
Les progrès récents dans les réseaux de neurones sont résumés par une séquence de nouvelles architectures caractérisées principalement par sa complexité croissante de conception. De LeNet5 (1994) à AlexNet (2012), à Overfeat (2013) et GoogleLeNet / Inception (2014) et ainsi de suite ... Y a-t-il...
Comment coder la date et l'heure d'un événement pour un réseau neuronal? Je n'ai pas de série chronologique continue, mais certains événements avec date et heure, et j'analyse une sorte d'intérêt. Cet intérêt diffère entre les matinées et les soirées, et diffère entre les jours de la semaine, et...
Les termes «suréchantillonnage» et «convolution transposée» sont tous deux utilisés lorsque vous effectuez une «déconvolution» (<- ce n'est pas un bon terme, mais permettez-moi de l'utiliser ici). À l'origine, je pensais qu'ils signifiaient la même chose, mais il me semble qu'ils sont différents...
La normalisation des lots a été attribuée à des améliorations substantielles des performances dans les réseaux neuronaux profonds. De nombreux documents sur Internet montrent comment l'implémenter sur une base d'activation par activation. J'ai déjà implémenté backprop en utilisant l'algèbre...