Je m'excuse à l'avance pour le fait que j'arrive toujours à ce sujet. J'essaie de comprendre les avantages et les inconvénients de l'utilisation de tanh (carte -1 à 1) par rapport à sigmoïde (carte 0 à 1) pour ma fonction d'activation des neurones. D'après ma lecture, cela ressemblait à une chose...
J'essaie de comprendre la fonction de perte de Yolo v2: λc o o r d∑i = 0S2∑j = 0B1o b jje j[ ( xje- x^je)2+ ( yje- y^je)2]+ λc o o r d∑i = 0S2∑j = 0B1o b jje j[ ( wje--√- w^je--√)2+ ( hje--√- h^je--√)2]+ ∑i = 0S2∑j = 0B1o b jje j( Cje- C^je)2+ λn o o b j∑i = 0S2∑j = 0B1n o o b jje j( Cje- C^je)2+...
Les endroits que j'ai lus sur la malédiction de la dimensionnalité l'expliquent conjointement avec kNN principalement et les modèles linéaires en général. Je vois régulièrement les meilleurs classeurs de Kaggle utiliser des milliers d'entités sur un ensemble de données qui ne contient pratiquement...
Je lisais sur l' optimiseur Adam pour le Deep Learning et suis tombé sur la phrase suivante dans le nouveau livre Deep Learning de Begnio, Goodfellow et Courtville: Adam inclut des corrections de biais dans les estimations des moments du premier ordre (le terme de momentum) et des moments du second...
J'expérimente l'algorithme de la machine de renforcement de gradient via le caretpackage en R. À l'aide d'un petit ensemble de données d'admission à l'université, j'ai exécuté le code suivant: library(caret) ### Load admissions dataset. ### mydata <-
Comme suivi de Mon réseau de neurones ne peut même pas apprendre la distance euclidienne, j'ai encore simplifié et essayé de former un seul ReLU (avec un poids aléatoire) à un seul ReLU. Il s'agit du réseau le plus simple qui existe et pourtant, la moitié du temps, il ne parvient pas à converger....
Tensorflow propose un exemple de didacticiel sur la classification de CIFAR-10 . Dans le didacticiel, la perte d'entropie croisée moyenne sur le lot est minimisée. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits...
Si j'ai un réseau neuronal convolutif (CNN), qui a environ 1 000 000 de paramètres, combien de données d'entraînement sont nécessaires (supposons que je fais une descente de gradient stochastique)? Y a-t-il une règle d'or? Notes supplémentaires: Lorsque j'ai effectué une descente de gradient...
Au cours de la formation d'un classificateur binaire de réseau neuronal simple, j'obtiens une valeur de perte élevée, en utilisant l'entropie croisée. Malgré cela, la valeur de la précision sur l'ensemble de validation est assez bonne. Cela a-t-il un sens? Il n'y a pas de corrélation stricte entre...
Lorsque j'ai implémenté un mini-gradient décent, j'ai simplement fait la moyenne des gradients de tous les exemples du lot de formation. Cependant, j'ai remarqué que maintenant le taux d'apprentissage optimal est beaucoup plus élevé que pour un gradient décent en ligne. Mon intuition est que c'est...
Dans la formation en mini-lots d'un réseau de neurones, j'ai entendu qu'une pratique importante est de mélanger les données d'entraînement avant chaque époque. Quelqu'un peut-il expliquer pourquoi le brassage à chaque époque aide? De la recherche google, j'ai trouvé les réponses suivantes: il aide...
Quelle est la dérivée de la fonction d'activation ReLU définie comme: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Qu'en est-il du cas particulier où il y a une discontinuité dans la fonction à
À quel moment commençons-nous à classer les réseaux de neurones multicouches en tant que réseaux de neurones profonds ou à le dire autrement «Quel est le nombre minimum de couches dans un réseau neuronal
Je n'ai pas trouvé de réponse satisfaisante à cela de Google . Bien sûr, si les données dont je dispose sont de l'ordre de millions, l'apprentissage en profondeur est la solution. Et j'ai lu que lorsque je n'ai pas de données volumineuses, il est peut-être préférable d'utiliser d'autres méthodes...
J'ai construit des réseaux de neurones (MLP (entièrement connecté), Elman (récurrent)) pour différentes tâches, comme jouer au Pong, classer les chiffres manuscrits et tout ça ... De plus, j'ai essayé de construire certains premiers réseaux de neurones convolutifs, par exemple pour classer des...
Dans l'apprentissage automatique de base, nous apprenons les «règles de base» suivantes: a) la taille de vos données doit être au moins 10 fois supérieure à la dimension VC de votre ensemble d'hypothèses. b) un réseau neuronal avec N connexions a une dimension VC d'environ N. Ainsi, lorsqu'un...
Je cherche à utiliser une version LSTM ( mémoire à court terme à long terme ) d'un réseau neuronal récurrent (RNN) pour modéliser les données de la série temporelle. À mesure que la longueur de séquence des données augmente, la complexité du réseau augmente. Je suis donc curieux de savoir quelle...
Je comprends le raisonnement derrière la division des données en un ensemble de test et un ensemble de validation. Je comprends également que la taille de la scission dépendra de la situation mais variera généralement de 50/50 à 90/10. J'ai construit un RNN pour corriger l'orthographe et commencer...
Au fur et à mesure que nous explorons la littérature sur les réseaux de neurones , nous arrivons à identifier d'autres méthodes avec des topologies neuromorphiques (architectures de type "réseau de neurones"). Et je ne parle pas du théorème de l'approximation universelle . Des exemples sont donnés...
J'essaie d'apprendre à utiliser les réseaux de neurones. Je lisais ce tutoriel . Après avoir ajusté un réseau neuronal sur une série chronologique en utilisant la valeur en pour prédire la valeur en t + 1, l'auteur obtient le graphique suivant, où la ligne bleue est la série chronologique, le vert...