Récemment, nous avons vu l'émergence du réseau neuronal résiduel, dans lequel, chaque couche se compose d'un module de calcul et d'une connexion de raccourci qui préserve l'entrée de la couche telle que la sortie de la ième couche présente: Le réseau permet d'extraire les caractéristiques...
Récemment, j'ai pris conscience des méthodes «sans vraisemblance» utilisées dans la littérature. Cependant, je ne sais pas exactement ce que signifie qu'une méthode d'inférence ou d'optimisation est sans vraisemblance . Dans l'apprentissage automatique, l'objectif est généralement de maximiser la...
J'ai un doute sur la formation exacte de la fonction de perte d'un réseau Deep Q-Learning. J'utilise un réseau feedforward à 2 couches avec une couche de sortie linéaire et des couches cachées relu. Supposons que j'ai 4 actions possibles. Ainsi, la sortie de mon réseau pour l'état actuelststs_t est...
Voici quelque chose que j'ai lu dans le livre Deep Learning d' Ian Goodfellow . Dans le contexte des réseaux de neurones, "la pénalité de la norme du paramètre L2 est communément appelée décroissance du poids. Cette stratégie de régularisation rapproche les poids de l'origine [...]. Plus...
Dans les tâches de vision par ordinateur, telles que la classification d'objets, avec les réseaux de neurones convolutionnels (CNN), le réseau offre une performance attrayante. Mais je ne sais pas comment configurer les paramètres dans les couches convolutives. Par exemple, une image en niveaux de...
J'ai un ensemble de données déséquilibré dans une tâche de classification binaire, où le montant positif contre le montant négatif est de 0,3% contre 99,7%. L'écart entre les positifs et les négatifs est énorme. Lorsque je forme un CNN avec la structure utilisée dans le problème MNIST, le résultat...
Quand voudrait-on effectuer un découpage de gradient lors de la formation d'un RNN ou CNN? Je suis particulièrement intéressé par ce dernier. Quelle serait une bonne valeur de départ pour l'écrêtage? (il peut bien sûr être
Quelle est la différence entre l' encodage bayésien variationnel automatique et la rétropropagation stochastique pour les modèles génératifs profonds ? L'inférence dans les deux méthodes conduit-elle aux mêmes résultats? Je ne suis au courant d'aucune comparaison explicite entre les deux méthodes,...
Lors de l'application du décrochage dans les réseaux de neurones artificiels, il faut compenser le fait qu'au moment de l'entraînement, une partie des neurones était désactivée. Pour ce faire, il existe deux stratégies communes: mise à l'échelle de l'activation au moment du test inverser le...
Est-il possible de former un réseau neuronal pour dessiner l'image dans un certain style? (Il prend donc une image et la redessine dans un style pour lequel elle a été formée.) Existe-t-il une technologie approuvée pour ce genre de chose? Je connais l'algorithme DeepArt. Il est bon de remplir...
Disons que j'ai une architecture de modèle d'apprentissage en profondeur, ainsi qu'une taille de mini-lot choisie. Comment puis-je dériver de ces exigences de mémoire attendues pour la formation de ce modèle? Par exemple, considérons un modèle (non récurrent) avec une entrée de dimension 1000, 4...
Existe-t-il une règle empirique entre la profondeur d'un réseau neuronal et le taux d'apprentissage? J'ai remarqué que plus le réseau est profond, plus le taux d'apprentissage doit être faible. Si c'est exact,
En termes de différence entre réseau neuronal et apprentissage en profondeur, nous pouvons énumérer plusieurs éléments, tels que davantage de couches sont incluses, un ensemble de données massif, un matériel informatique puissant pour rendre possible la formation d'un modèle compliqué. En plus de...
J'utilise un RNN bidirectionnel pour détecter un événement d'occurrence déséquilibrée. La classe positive est 100 fois moins souvent que la classe négative. Sans utilisation de régularisation, je peux obtenir une précision de 100% sur le train et de 30% sur le jeu de validation. J'active la...
J'ai lu sur les SVM et j'ai appris qu'ils résolvaient un problème d'optimisation et l'idée de marge maximale était très raisonnable. Maintenant, en utilisant des noyaux, ils peuvent même trouver des limites de séparation non linéaires, ce qui était génial. Jusqu'à présent, je n'ai vraiment aucune...
Dans le document Faster RCNN, lorsque l'on parle d'ancrage, que signifient-ils en utilisant des «pyramides de boîtes de référence» et comment cela se fait-il? Cela signifie-t-il simplement qu'à chacun des points d'ancrage W * H * k, une boîte englobante est générée? Où W = largeur, H = hauteur et k...
Dans le récent article WaveNet , les auteurs se réfèrent à leur modèle comme ayant des couches empilées de convolutions dilatées. Ils produisent également les graphiques suivants, expliquant la différence entre les convolutions «régulières» et les convolutions dilatées. Les convolutions régulières...
Je travaille sur le papier Cho 2014 qui a introduit l'architecture codeur-décodeur pour la modélisation seq2seq. Dans l'article, ils semblent utiliser la probabilité de l'entrée donnée en sortie (ou sa probabilité de log négatif) comme fonction de perte pour une entrée de longueur et une sortie de...
J'essaie de mieux comprendre les champs réceptifs de CNN. Pour ce faire, je voudrais calculer le champ récepteur de chaque neurone dans LeNet. Pour un MLP normal, c'est plutôt facile (voir http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), mais il est plus difficile de calculer le...
Je veux calculer l'importance de chaque fonction d'entrée en utilisant un modèle profond. Mais je n'ai trouvé qu'un seul article sur la sélection des fonctionnalités à l'aide de l'apprentissage en profondeur - la sélection des fonctionnalités approfondies . Ils insèrent une couche de nœuds...