Je poursuis la question que j'avais posée plus tôt sur les mécanismes RBM . Je vois beaucoup de littérature qui les décrit, mais aucune qui parle réellement de régression (pas même de classification avec des données étiquetées). J'ai l'impression qu'il est utilisé uniquement pour les données non...
Je travaille sur un petit projet où nous essayons de prévoir les prix des matières premières (pétrole, aluminium, étain, etc.) pour les 6 prochains mois. J'ai 12 variables de ce type à prévoir et j'ai des données d'avril 2008 à mai 2013. Comment dois-je procéder pour la prédiction? J'ai fait ce qui...
J'ai une connaissance de base du fonctionnement des RNN (et en particulier des unités LSTM). J'ai une idée picturale de l'architecture d'une unité LSTM, c'est-à-dire une cellule et quelques portes, qui régulent le flux de valeurs. Cependant, apparemment, je n'ai pas complètement compris comment...
J'étudie l'architecture du réseau neuronal siamois introduit par Yann LeCun et ses collègues en 1994 pour la reconnaissance des signatures ( "Vérification de signature utilisant un réseau neuronal siamois à retardement" .pdf , NIPS 1994) J'ai compris l'idée générale de cette architecture, mais je...
J'utilise un réseau lstm et feed-forward pour classer le texte. Je convertis le texte en vecteurs uniques et les insère dans le lstm afin de pouvoir le résumer en une seule représentation. Ensuite, je le nourris à l'autre réseau. Mais comment former le lstm? Je veux juste classer le texte en...
J'ai recherché sur Google, Wikipedia, Google scholar, et plus, mais je n'ai pas pu trouver l'origine des Autoencoders. C'est peut-être l'un de ces concepts qui a évolué très progressivement, et il est impossible de retracer un point de départ clair, mais je voudrais quand même trouver une sorte de...
Je lisais le livre de Yoshua Bengio sur l'apprentissage profond et il est dit à la page 224: Les réseaux convolutifs sont simplement des réseaux neuronaux qui utilisent la convolution à la place de la multiplication matricielle générale dans au moins une de leurs couches. cependant, je ne savais...
Je viens de couvrir les réseaux de neurones artificiels dans le cours d'apprentissage automatique de Coursera et j'aimerais en savoir plus sur la théorie. Je trouve la motivation qu'ils imitent la biologie quelque peu insatisfaisante. En surface, il semble qu'à chaque niveau, nous remplaçons les...
Dans l'article de DeepMind de 2015 sur l'apprentissage par renforcement profond, il déclare que «les tentatives précédentes de combiner RL avec des réseaux de neurones ont échoué en grande partie en raison d'un apprentissage instable». L'article énumère ensuite certaines causes de cela, en fonction...
Est-il possible d'avoir des poids négatifs (après suffisamment d'époques) pour les réseaux neuronaux convolutionnels profonds lorsque nous utilisons ReLU pour toutes les couches
À mon avis, les données d'entrée corrélées doivent conduire à un sur-ajustement dans les réseaux de neurones car le réseau apprend la corrélation, par exemple le bruit dans les données. Est-ce
J'ai des données brutes qui ont environ 20 colonnes (20 fonctionnalités). Dix d'entre elles sont des données continues et 10 d'entre elles sont catégoriques. Certaines des données catégorielles peuvent avoir comme 50 valeurs différentes (États-Unis). Après avoir prétraité les données, les 10...
Lors de l'initialisation des poids de connexion dans un réseau de neurones à action directe, il est important de les initialiser de manière aléatoire pour éviter toute symétrie que l'algorithme d'apprentissage ne serait pas en mesure de briser. La recommandation que j'ai vue à divers endroits (par...
Je passe par le cours DeepAI de Cousera (semaine 1 vidéo 1 "Présentation des réseaux de neurones") et Andrew Ng explique comment chaque couche d'un réseau de neurones n'est qu'une autre régression logistique, mais il n'explique pas comment cela rend les choses plus précises. Ainsi, dans un réseau à...
J'ai lu des articles sur la création manuelle d'images pour "tromper" un réseau de neurones (voir ci-dessous). Est-ce parce que les réseaux ne modélisent que la probabilité conditionnelle ? Si un réseau peut modéliser la probabilité conjointe p ( y , x ) , de tels cas se produiront-ils toujours?p (...
Quels problèmes d'entrée séquentielle conviennent le mieux à chacun? La dimensionnalité d'entrée détermine-t-elle celle qui correspond le mieux? Les problèmes qui nécessitent une "mémoire plus longue" sont-ils mieux adaptés à un LSTM RNN, alors que les problèmes de modèles d'entrée cycliques...
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Vous souhaitez améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 10 mois . Je sais qu'il y a beaucoup de bibliothèques pour l'apprentissage...
Les RNN sont remarquablement bons pour capturer la dépendance temporelle des données séquentielles. Cependant, que se passe-t-il lorsque les éléments de séquence ne sont pas également espacés dans le temps? Par exemple, la première entrée dans la cellule LSTM se produit le lundi, puis aucune donnée...
J'essaie de former un réseau de neurones pour la classification, mais les étiquettes que j'ai sont plutôt bruyantes (environ 30% des étiquettes sont fausses). La perte d'entropie croisée fonctionne en effet, mais je me demandais s'il existe des alternatives plus efficaces dans ce cas? ou la perte...
La description: Soit le domaine problématique la classification de documents où il existe un ensemble de vecteurs de caractéristiques, chacun appartenant à 1 ou plusieurs classes. Par exemple, un document doc_1peut appartenir aux catégories Sportset English. Question: En utilisant le réseau de...