Description du problème Je commence la construction d'un réseau pour un problème qui, selon moi, pourrait avoir une fonction de perte bien plus perspicace qu'une simple régression MSE. Mon problème concerne la classification multi-catégories ( voir ma question sur SO pour ce que je veux dire par...
J'ai fait un réseau neuronal convolutionnel et je voulais vérifier que mes gradients sont calculés correctement en utilisant la vérification numérique du gradient. La question est, à quelle distance est assez proche? Ma fonction de vérification crache simplement la dérivée calculée, la dérivée...
https://www.tensorflow.org/ Tous les projets sur TensorFlow que j'ai vus dans GitHub implémentent une sorte de modèle de réseau neuronal. Étant donné que TensorFlow est une amélioration par rapport au DAG (il n'est plus acyclique), je me demandais si certaines lacunes inhérentes le rendaient...
J'ai récemment étudié la théorie derrière les ANN et je voulais comprendre la «magie» derrière leur capacité de classification multi-classe non linéaire. Cela m'a conduit à ce site Web qui explique bien comment géométriquement cette approximation est réalisée. Voici comment je l'ai compris (en 3D):...
Je m'interroge sur les différences. D'après ma compréhension, MLP est un type de réseaux de neurones, où la fonction d'activation est sigmoïde, et le terme d'erreur est une erreur d'entropie croisée (logistique). Vous cherchez de l'aide,
J'ai commencé à lire sur les réseaux neuronaux récurrents (RNN) et la mémoire à court terme (LSTM) ... (... oh, pas assez de points de répétition ici pour lister les références ...) Une chose que je ne comprends pas: il semble toujours que les neurones dans chaque instance d'une couche cachée...
J'ai lu les excellents commentaires sur la façon de traiter les valeurs manquantes avant d'appliquer SVD, mais j'aimerais savoir comment cela fonctionne avec un exemple simple: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Étant donné la matrice ci-dessus, si je...
Comme échauffement avec des réseaux de neurones récurrents, j'essaie de prédire une onde sinusoïdale à partir d'une autre onde sinusoïdale d'une autre fréquence. Mon modèle est un simple RNN, sa passe avant peut s'exprimer comme suit: rtzt= σ(Wje n⋅Xt+Wr e c⋅rt - 1) )=Wo u...
En général, dois-je recycler mon réseau de neurones avec moins de neurones afin qu'il ait moins de neurones ReLU morts? J'ai lu des opinions contradictoires sur les ReLU morts. Certaines sources affirment que les ReLU morts sont bons car ils encouragent la rareté. D'autres disent qu'ils sont...
Je voulais former un réseau avec des non-linéarités qui souffrent de la disparition (ou du problème de gradient explosif mais principalement de la disparition). Je sais que la méthode standard (actuelle) consiste à utiliser la normalisation par lots 1 [BN] 1 ou simplement à abandonner la...
Mon réseau neuronal récurrent (LSTM, resp. GRU) se comporte d'une manière que je ne peux pas expliquer. L'entraînement commence et il s'entraîne bien (les résultats semblent assez bons) lorsque la précision diminue soudainement (et que la perte augmente rapidement) - à la fois les mesures...
Dans SGD, une époque serait la présentation complète des données d'entraînement, puis il y aurait N mises à jour de poids par époque (s'il y a N exemples de données dans l'ensemble d'entraînement). Si nous faisons maintenant des mini-lots à la place, disons par lots de 20. Une époque se...
Est-il possible d'obtenir des résultats de pointe en utilisant uniquement la rétro-propagation (sans pré-formation )? Ou est-ce pour que toutes les approches battant des records utilisent une certaine forme de pré-formation? La rétropropagation est-elle suffisante à elle
J'ai la configuration suivante pour un projet de recherche Finance / Machine Learning dans mon université: j'applique un (Deep) Neural Network (MLP) avec la structure suivante dans Keras / Theano pour distinguer les actions surperformantes (étiquette 1) des actions sous-performantes ( étiquette 0)....
Je veux effectuer une analyse de sentiment sur du texte, j'ai parcouru plusieurs articles, certains d'entre eux utilisent "Naive Bayes" et d'autres sont "Recurrent Neural Network (LSTM)" , d'autre part j'ai vu une bibliothèque python pour l'analyse de sentiment qui est nltk. Il utilise "Naive...
Dans la semaine 5 notes de cours pour Coursera machine de classe d' apprentissage Andrew Ng , la formule suivante est donnée pour le calcul de la valeur de utilisé pour initialiser avec des valeurs aléatoires:ϵϵ\epsilonΘΘ\Theta Dans l' exercice , des précisions sont apportées: Une stratégie...
Si les réseaux de neurones profonds sont considérés comme des approximateurs de fonctions universelles, l'expansion de la base est-elle vraiment nécessaire? Ou serait-ce spécifique au cas? Par exemple, si l'on a trois variables X quantitatives, y aurait-il un avantage à augmenter le nombre de...
Il est assez intuitif que la plupart des topologies / architectures de réseaux de neurones ne soient pas identifiables. Mais quels sont les résultats bien connus sur le terrain? Existe-t-il des conditions simples qui permettent / empêchent l’identifiabilité? Par exemple, tous les réseaux avec des...
Le théorème d'approximation universel pour les réseaux de neurones s'applique-t-il à une fonction d'activation (sigmoïde, ReLU, Softmax, etc ...) ou est-il limité aux fonctions sigmoïdes? Mise à jour: Comme le souligne shimao dans les commentaires, cela ne vaut absolument pour aucune fonction....
Est-ce que ce qui suit est vrai? biais faible = variance élevée biais élevé = faible variance Je comprends les biais élevés et faibles, mais en quoi la variance est-elle différente? Ou sont les synonymes