J'entraîne un réseau neuronal artificiel (rétropropagation, feed-forward) avec des données distribuées non normales. En plus de l'erreur quadratique moyenne, la littérature suggère souvent le coefficient de corrélation de Pearson pour évaluer la qualité du filet formé. Mais, le coefficient de...
Je commence mon voyage de doctorat et l'objectif ultime que je me suis fixé est de développer des RNA qui surveilleraient l'environnement dans lequel ils travaillent et adapteraient dynamiquement leur architecture au problème en cours. L'implication évidente est la temporalité des données: si...
J'utilise un classificateur basé sur les réseaux neuronaux pour exécuter une classification de mes données en n dimensions. Ensuite, j'ai pensé que ce pourrait être une bonne idée d'exécuter une réduction de dimension comme PCA pour mes données au début, puis de mettre les résultats PCA dans le...
Lorsque nous utilisons l'algorithme d'apprentissage de CD persistant pour les machines Bolzmann restreintes, nous commençons notre chaîne d'échantillonnage Gibbs dans la première itération à un point de données, mais contrairement au CD normal, dans les itérations suivantes, nous ne recommençons...
J'ai des entrées extrêmement clairsemées, par exemple l'emplacement de certaines fonctions dans une image d'entrée. De plus, chaque fonctionnalité peut avoir plusieurs détections (je ne sais pas si cela aura une incidence sur la conception du système). Ce que je présenterai comme une «image...
J'ai appris qu'un sur-ajustement peut être détecté en traçant l'erreur d'apprentissage et l'erreur de test en fonction des époques. Comme dans: J'ai lu ce blog où ils disent que le réseau neuronal, net5 est trop adapté et ils fournissent ce chiffre: Ce qui est étrange pour moi, car l'erreur de...
Je veux former un réseau neuronal avec une séquence de caractères comme vecteur d'entrée. Les exemples d'apprentissage ont une longueur différente et pour cette raison, je ne sais pas comment les représenter. Disons que j'ai deux exemples de séquences, voici des noms: john doe maurice delanoe Le...
Dans CNN, nous apprendrons des filtres pour produire une carte d'entités dans une couche convolutionnelle. Dans Autoencoder, chaque unité cachée de chaque couche peut être considérée comme un filtre. Quelle différence entre les filtres appris dans ces deux
Mon professeur a prouvé que la dérivée seconde de l'entropie croisée est toujours positive, de sorte que la fonction de coût des réseaux de neurones utilisant l'entropie croisée est convexe. Est-ce vrai? Je suis assez confus à ce sujet car j'ai toujours appris que la fonction de coût de ANN n'est...
Je suis confronté à un problème lié à la recherche du gradient de la fonction de perte d'entropie croisée par rapport au paramètre où:θθ\theta CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Où, et est une entrée...
J'aimerais utiliser un réseau neuronal pour prédire des séries temporelles financières. Je viens d'un milieu informatique et j'ai une certaine connaissance des réseaux de neurones et j'ai lu à ce sujet: TDNN RNN Je cherchais des packages R pour eux et je n'en ai trouvé qu'un pour RNN, le package...
Les réseaux de codage automatique semblent être beaucoup plus délicats que les réseaux MLP classificateurs normaux. Après plusieurs tentatives d'utilisation de la lasagne, tout ce que j'obtiens dans la sortie reconstruite ressemble à son mieux à une moyenne floue de toutes les images de la base de...
Dans les modèles CBOW et skip-gram de word2vec, comment le choix des vecteurs de mots de (matrice de mots d'entrée) par rapport au choix des vecteurs de mots de (matrice de mots de sortie) affecte-t-il la qualité des vecteurs de mots résultants?WWWW′W′W' CBOW: Skip-gram:
Je lis cet article: traducteur skype où ils utilisent des CD-DNN-HMM (réseaux neuronaux profonds dépendants du contexte avec des modèles de Markov cachés). Je peux comprendre l'idée du projet et l'architecture qu'ils ont conçue mais je ne comprends pas ce que sont les senones . Je cherchais une...
Après avoir lu de nombreux articles d'apprentissage en profondeur, une sorte de sentiment brutal est qu'il existe de nombreuses astuces pour entraîner le réseau à obtenir des performances supérieures à la normale. Du point de vue des applications de l'industrie, il est très difficile de développer...
Selon "Efficient Backprop" de LeCun et al (1998), il est de bonne pratique de normaliser toutes les entrées afin qu'elles soient centrées autour de 0 et se situent dans la plage de la dérivée seconde maximale. Ainsi, par exemple, nous utiliserions [-0,5,0,5] pour la fonction "Tanh". C'est pour...
Le problème est: Dérivez le gradient par rapport à la couche d'entrée pour un réseau neuronal à couche cachée unique en utilisant sigmoïde pour l'entrée -> caché, softmax pour caché -> la sortie, avec une perte d'entropie croisée. Je peux passer la majeure partie de la dérivation en utilisant...
Supposons que je veuille former un réseau neuronal profond pour effectuer une classification ou une régression, mais je veux savoir dans quelle mesure la prédiction sera sûre. Comment pourrais-je y parvenir? Mon idée est de calculer l'entropie croisée pour chaque donnée d'entraînement, sur la base...
J'apprends l'apprentissage en profondeur (en particulier les CNN) et comment cela nécessite généralement énormément de données pour éviter le surapprentissage. Cependant, on m'a également dit que plus la capacité / le nombre de paramètres d'un modèle est élevé, plus il faut de données pour éviter...
Ma question concerne la relation entre l'hypothèse de codage efficace qui est décrite sur la page Wikipedia sur le codage efficace et les algorithmes d'apprentissage des réseaux de neurones. Quelle est la relation entre l'hypothèse de codage efficace et les réseaux de neurones? Existe-t-il des...