Structure de réseau inspirée de modèles simplifiés de neurones biologiques (cellules cérébrales). Les réseaux neuronaux sont formés pour "apprendre" par des techniques supervisées et non supervisées, et peuvent être utilisés pour résoudre des problèmes d'optimisation, des problèmes d'approximation, classer des modèles et des combinaisons de ceux-ci.
Les réseaux backprop entièrement connectés (au moins couche à couche avec plus de 2 couches masquées) sont des apprenants universels. Malheureusement, ils sont souvent lents à apprendre et ont tendance à trop s'adapter ou à avoir des généralisations maladroites. En m'amusant avec ces réseaux, j'ai...
L'un des hyperparamètres des réseaux LSTM est la température. Qu'Est-ce que
Quelle est la différence entre un réseau de neurones, un système d'apprentissage profond et un réseau de croyances profondes? Si je me souviens bien, votre réseau de neurones de base est une sorte de truc à 3 couches, et j'ai décrit les systèmes de croyance profonde comme étant des réseaux de...
Mon objectif est de résoudre le problème suivant, que j'ai décrit par son entrée et sa sortie: Contribution: Un graphe acyclique dirigé avec m nœuds, n sources et 1 puits ( m > n ≥ 1 ).ggGmmmnnn111m > n ≥ 1m>n≥1m > n \geq 1 Production: Le VC-dimension (ou une approximation de celui - ci)...
Je viens d'apprendre récemment l'existence de cette mémoire temporelle hiérarchique (HTM) . J'ai déjà lu le document Hierarchical Temporal Memory: Concepts, Theory and Terminology (par Jeff Hawkins et Dileep George), qui semble assez facile à comprendre, mais un drapeau rouge est que le document...
introduction La première étape J'ai écrit un réseau neuronal à rétropropagation standard, et pour le tester, j'ai décidé de le faire mapper XOR. C'est un réseau 2-2-1 (avec fonction d'activation tanh) X1 M1 O1 X2 M2 B1 B2 À des fins de test, j'ai configuré manuellement le neurone moyen supérieur...
Quand dit-on qu'un réseau de neurones artificiels est un Perceptron multicouche ? Et quand dit-on qu'un réseau de neurones artificiels est multicouche ? Le terme perceptron est-il lié à la règle d'apprentissage pour mettre à jour les poids? Ou est-ce lié aux unités
J'ai vu quelques questions sur ce site à propos de Deep Dream, mais aucune d'entre elles ne semble réellement parler de ce que fait DeepDream, en particulier. Pour autant que je sache, ils semblent avoir changé la fonction objectif et également changé la rétropropagation de sorte qu'au lieu de...
J'utilise des réseaux de neurones pour prédire une série chronologique. La question à laquelle je suis confronté maintenant est de savoir comment encoder la date / l'heure / le numéro de série. de chaque jeu d'entrée comme entrée du réseau neuronal? Dois-je utiliser 1 du codage C (utilisé pour les...
Il est prouvé que les réseaux de neurones avec des poids rationnels ont la puissance de calcul de la calculabilité universelle de Turing Machine Turing avec des réseaux de neurones . D'après ce que j'ai obtenu, il semble que l'utilisation de poids réels donne encore plus de puissance de calcul,...
Y a-t-il des avantages à avoir plus de 2 couches cachées dans un réseau neuronal? J'ai vu des endroits qui le recommandent, d'autres prouvent qu'il n'y a aucun avantage. Lequel a
Après avoir lu les réalisations de google deepmind sur les jeux d'Atari , j'essaie de comprendre le q-learning et les q-réseaux, mais je suis un peu confus. La confusion survient dans le concept du facteur d'actualisation. Bref résumé de ce que je comprends. Un réseau neuronal convolutionnel...
J'ai récemment lu une entrée de blog très intéressante de Google Research Blog sur le réseau neuronal. Fondamentalement, ils utilisent ces réseaux de neurones pour résoudre divers problèmes comme la reconnaissance d'image. Ils utilisent des algorithmes génétiques pour "faire évoluer" les poids des...
Un algorithme de réseau neuronal artificiel pourrait-il être exprimé en termes d'opérations de réduction de carte? Je m'intéresse également plus généralement aux méthodes de parallélisation appliquées aux RNA et à leur application au cloud computing. Je pense qu'une approche consisterait à exécuter...
J'ai implémenté un réseau neuronal (utilisant CUDA) avec 2 couches. (2 neurones par couche). J'essaie de lui faire apprendre 2 fonctions polynomiales quadratiques simples en utilisant la rétropropagation . Mais au lieu de converger, il diverge (la sortie devient l'infini) Voici quelques détails...
Pourquoi les poids initiaux des réseaux de neurones sont-ils initialisés sous forme de nombres aléatoires? J'avais lu quelque part que cela est fait pour "briser la symétrie" et que le réseau neuronal apprend plus vite. Comment briser la symétrie permet-elle d'apprendre plus rapidement? Est-ce que...
J'ai découvert les réseaux neuronaux et les SVM. Les tutoriels que j'ai lus ont souligné l'importance de la noyauisation pour les SVM. Sans fonction de noyau, les SVM ne sont qu'un classificateur linéaire. Avec la noyauisation, les SVM peuvent également incorporer des fonctionnalités non linéaires,...
Pour de nombreux projets d'apprentissage automatique que nous faisons, nous commençons par le classificateur k le plus proche voisin. Il s'agit d'un classificateur de départ idéal car nous avons généralement suffisamment de temps pour calculer toutes les distances et le nombre de paramètres est...
Lors de la mise à jour des poids d'un réseau neuronal en utilisant l'algorithme de rétropropagation avec un terme de momentum, le taux d'apprentissage devrait-il également être appliqué au terme de momentum? La plupart des informations que j'ai pu trouver sur l'utilisation de l'élan ont les...
J'ai étudié Spiking Neural Networks en ligne à partir de divers articles, principalement Maass (1997) . Je ne suis pas tout à fait sûr de comprendre ce qui différencie le code d'impulsion de SNN des ANN précédents, qui sont considérés comme un code de taux. J'ai une formation en neuroscience, donc...