J'ai lu sur les SVM et j'ai appris qu'ils résolvaient un problème d'optimisation et l'idée de marge maximale était très raisonnable. Maintenant, en utilisant des noyaux, ils peuvent même trouver des limites de séparation non linéaires, ce qui était génial. Jusqu'à présent, je n'ai vraiment aucune...
Dans le récent article WaveNet , les auteurs se réfèrent à leur modèle comme ayant des couches empilées de convolutions dilatées. Ils produisent également les graphiques suivants, expliquant la différence entre les convolutions «régulières» et les convolutions dilatées. Les convolutions régulières...
Dans l'article intitulé Deep Learning and the Information Bottleneck Principle, les auteurs déclarent dans la section II A) ce qui suit: Les neurones simples ne classent que les entrées séparables linéairement, car ils ne peuvent implémenter que des hyperplans dans leur espace d'entrée . Les...
Dans les articles AlphaGo Zero et AlphaZero de DeepMind , ils décrivent l'ajout de bruit de Dirichlet aux probabilités antérieures d'actions du nœud racine (état de la carte) dans Monte Carlo Tree Search: Une exploration supplémentaire est obtenue en ajoutant du bruit de Dirichlet aux probabilités...
J'entraîne un réseau neuronal artificiel (rétropropagation, feed-forward) avec des données distribuées non normales. En plus de l'erreur quadratique moyenne, la littérature suggère souvent le coefficient de corrélation de Pearson pour évaluer la qualité du filet formé. Mais, le coefficient de...
Je commence mon voyage de doctorat et l'objectif ultime que je me suis fixé est de développer des RNA qui surveilleraient l'environnement dans lequel ils travaillent et adapteraient dynamiquement leur architecture au problème en cours. L'implication évidente est la temporalité des données: si...
J'utilise un classificateur basé sur les réseaux neuronaux pour exécuter une classification de mes données en n dimensions. Ensuite, j'ai pensé que ce pourrait être une bonne idée d'exécuter une réduction de dimension comme PCA pour mes données au début, puis de mettre les résultats PCA dans le...
Lorsque nous utilisons l'algorithme d'apprentissage de CD persistant pour les machines Bolzmann restreintes, nous commençons notre chaîne d'échantillonnage Gibbs dans la première itération à un point de données, mais contrairement au CD normal, dans les itérations suivantes, nous ne recommençons...
J'ai des entrées extrêmement clairsemées, par exemple l'emplacement de certaines fonctions dans une image d'entrée. De plus, chaque fonctionnalité peut avoir plusieurs détections (je ne sais pas si cela aura une incidence sur la conception du système). Ce que je présenterai comme une «image...
J'ai appris qu'un sur-ajustement peut être détecté en traçant l'erreur d'apprentissage et l'erreur de test en fonction des époques. Comme dans: J'ai lu ce blog où ils disent que le réseau neuronal, net5 est trop adapté et ils fournissent ce chiffre: Ce qui est étrange pour moi, car l'erreur de...
Je veux former un réseau neuronal avec une séquence de caractères comme vecteur d'entrée. Les exemples d'apprentissage ont une longueur différente et pour cette raison, je ne sais pas comment les représenter. Disons que j'ai deux exemples de séquences, voici des noms: john doe maurice delanoe Le...
Dans CNN, nous apprendrons des filtres pour produire une carte d'entités dans une couche convolutionnelle. Dans Autoencoder, chaque unité cachée de chaque couche peut être considérée comme un filtre. Quelle différence entre les filtres appris dans ces deux
Mon professeur a prouvé que la dérivée seconde de l'entropie croisée est toujours positive, de sorte que la fonction de coût des réseaux de neurones utilisant l'entropie croisée est convexe. Est-ce vrai? Je suis assez confus à ce sujet car j'ai toujours appris que la fonction de coût de ANN n'est...
Je suis confronté à un problème lié à la recherche du gradient de la fonction de perte d'entropie croisée par rapport au paramètre où:θθ\theta CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Où, et est une entrée...
J'aimerais utiliser un réseau neuronal pour prédire des séries temporelles financières. Je viens d'un milieu informatique et j'ai une certaine connaissance des réseaux de neurones et j'ai lu à ce sujet: TDNN RNN Je cherchais des packages R pour eux et je n'en ai trouvé qu'un pour RNN, le package...
Les réseaux de codage automatique semblent être beaucoup plus délicats que les réseaux MLP classificateurs normaux. Après plusieurs tentatives d'utilisation de la lasagne, tout ce que j'obtiens dans la sortie reconstruite ressemble à son mieux à une moyenne floue de toutes les images de la base de...
Dans les modèles CBOW et skip-gram de word2vec, comment le choix des vecteurs de mots de (matrice de mots d'entrée) par rapport au choix des vecteurs de mots de (matrice de mots de sortie) affecte-t-il la qualité des vecteurs de mots résultants?WWWW′W′W' CBOW: Skip-gram:
Je lis cet article: traducteur skype où ils utilisent des CD-DNN-HMM (réseaux neuronaux profonds dépendants du contexte avec des modèles de Markov cachés). Je peux comprendre l'idée du projet et l'architecture qu'ils ont conçue mais je ne comprends pas ce que sont les senones . Je cherchais une...
Selon "Efficient Backprop" de LeCun et al (1998), il est de bonne pratique de normaliser toutes les entrées afin qu'elles soient centrées autour de 0 et se situent dans la plage de la dérivée seconde maximale. Ainsi, par exemple, nous utiliserions [-0,5,0,5] pour la fonction "Tanh". C'est pour...
Le problème est: Dérivez le gradient par rapport à la couche d'entrée pour un réseau neuronal à couche cachée unique en utilisant sigmoïde pour l'entrée -> caché, softmax pour caché -> la sortie, avec une perte d'entropie croisée. Je peux passer la majeure partie de la dérivation en utilisant...