un nouveau domaine de recherche en Machine Learning concernant les technologies utilisées pour l'apprentissage des représentations hiérarchiques des données, principalement effectuées avec des réseaux de neurones profonds (c'est-à-dire des réseaux avec deux ou plusieurs couches cachées), mais aussi avec une sorte de modèles graphiques probabilistes.
En référence aux notes de cours de Stanford sur les réseaux de neurones convolutionnels pour la reconnaissance visuelle , un paragraphe dit: "Malheureusement, les unités ReLU peuvent être fragiles pendant l'entraînement et peuvent" mourir ". Par exemple, un gradient important traversant un neurone...
La principale différence entre une GRU et un LSTM réside dans le fait qu’une GRU a deux portes (portes de réinitialisation et de mise à jour ) alors qu’un LSTM a trois portes (à savoir les portes d’ entrée , de sortie et d’ oubli ). Pourquoi utilisons-nous GRU alors que nous avons clairement plus...
Je travaille actuellement sur la mise en œuvre de la descente de gradient stochastique SGD, pour les réseaux neuronaux utilisant la rétrodiffusion, et bien que je comprenne son objectif, j'ai quelques questions sur la manière de choisir des valeurs pour le taux d'apprentissage. Le taux...
Lors de la rédaction d'un article / d'une présentation sur un sujet concernant les réseaux de neurones, on visualise généralement l'architecture du réseau. Quels sont les moyens bons / simples de visualiser automatiquement les architectures
J'ai construit mon modèle. Maintenant, je veux dessiner le diagramme d’architecture réseau pour mon travail de recherche. Exemple est montré ci-dessous:
Le problème que je traite est de prédire les valeurs de séries chronologiques. Je regarde une série chronologique à la fois et, sur la base par exemple de 15% des données d'entrée, je voudrais prédire ses valeurs futures. Jusqu'à présent, j'ai rencontré deux modèles: LSTM (mémoire à long terme et à...
Je savais que Residual Network (ResNet) rendait populaire l’initialisation normale. Dans ResNet, l'initialisation normale He est utilisée , tandis que la première couche utilise l'initialisation uniforme He. J'ai parcouru les papiers ResNet et "Delving Deep into Rectifiers" (papier d'initialisation...
Quand j'ai commencé avec les réseaux de neurones artificiels (NN), je pensais que je devais me battre contre la suralimentation comme principal problème. Mais dans la pratique, je ne parviens même pas à faire passer mon NN à la barre des 20% de taux d’erreur. Je ne peux même pas battre mon score...
Nous en avons lu un peu sur les LSTM et sur leur utilisation pour les séries chronologiques. C’est intéressant mais difficile en même temps. Une chose que j’ai eu du mal à comprendre est l’approche pour ajouter des fonctionnalités à ce qui est déjà une liste de fonctionnalités de séries...
Combien de paramètres a un seul LSTM empilé? Le nombre de paramètres impose une limite inférieure au nombre d'exemples de formation requis et influence également le temps de formation. Par conséquent, connaître le nombre de paramètres est utile pour l'apprentissage de modèles utilisant des...
Je lis souvent que dans le cas des modèles d'apprentissage en profondeur, la pratique habituelle consiste à appliquer des mini-lots (généralement un petit, 32/64) sur plusieurs périodes d'entraînement. Je ne peux pas vraiment comprendre la raison derrière cela. Sauf erreur de ma part, la taille du...
Je suis sur le point de former un grand réseau LSTM avec 2 à 3 millions d'articles et je suis aux prises avec des erreurs de mémoire (j'utilise AWS EC2 g2x2large). J'ai découvert qu'une solution consiste à réduire le batch_size. Cependant, je ne sais pas si ce paramètre est uniquement lié à des...
J'ai du mal à comprendre la différence entre équivariant de traduction et invariant de traduction . Dans le livre Deep Learning . MIT Press, 2016 (I. Goodfellow, A. Courville et Y. Bengio), on peut trouver sur les réseaux convolutifs: [...] la forme particulière de partage des paramètres donne à la...
Supposons que je construise un NN pour la classification. La dernière couche est une couche dense avec activation softmax. J'ai cinq classes différentes à classer. Supposons que pour un seul exemple de formation, le true labelsoit [1 0 0 0 0]alors que les prédictions soient [0.1 0.5 0.1 0.1 0.2]....
Les utilisateurs de différentes communautés ont coutume de citer des choses amusantes sur leurs domaines. Il peut être amusant de partager vos drôles de choses sur l’apprentissage automatique, l’apprentissage en profondeur, la science des données et les problèmes auxquels vous êtes confrontés tous...
Comment pouvez-vous programmer dans la bibliothèque keras (ou tensorflow) pour partitionner la formation sur plusieurs GPU? Supposons que vous vous trouviez dans une instance Amazon ec2 comportant 8 GPU et que vous souhaitiez toutes les utiliser pour vous entraîner plus rapidement, mais que votre...
J'ai lu sur NCE (une forme d'échantillonnage de candidats) à partir de ces deux sources: Rédaction Tensorflow Papier original Quelqu'un peut-il m'aider avec les éléments suivants: Une explication simple du fonctionnement des RCE (j'ai trouvé les éléments ci-dessus difficiles à analyser et à...
Donc, récemment, il y a un papier de normalisation des calques . Il existe également une implémentation de celui-ci sur Keras. Mais je me souviens qu'il y a des articles intitulés Recurrent Batch Normalization (Cooijmans, 2016) et Batch Normalized Recurrent Neural Networks (Laurent, 2015). Quelle...
Dans le contexte du Machine Learning , j'ai vu le terme Ground Truth beaucoup utilisé. J'ai beaucoup cherché et trouvé la définition suivante dans Wikipedia : Dans l'apprentissage automatique, le terme «vérité terrain» fait référence à l'exactitude de la classification de l'ensemble d'apprentissage...
J'ai un gros problème de données avec un grand ensemble de données (prenez par exemple 50 millions de lignes et 200 colonnes). L'ensemble de données comprend environ 100 colonnes numériques et 100 colonnes catégorielles et une colonne de réponse qui représente un problème de classe binaire. La...