Je me demandais s'il était possible, dans certaines circonstances, que les ANN fonctionnent mieux si vous supprimez certaines connexions sur celles-ci, par exemple: Construire un ANN en prenant deux ANN et A en B multicouches en parallèle (mêmes nœuds d'entrée et de sortie) en ajoutant quelques...
Si j'ai une topologie fixe non récurrente (DAG) (ensemble fixe de nœuds et de bords, mais l'algorithme d'apprentissage peut faire varier le poids sur les bords) de neurones sigmoïdes avec neurones d'entrée qui ne peuvent prendre que des chaînes dans en entrée et conduit à une sortie (qui génère une...
D'après ce que j'ai appris, nous utilisons plusieurs filtres dans une couche Conv d'un CNN pour apprendre différents détecteurs de fonctionnalités. Mais puisque ces filtres sont appliqués de la même manière (c'est-à-dire glissés et multipliés aux régions de l'entrée), n'apprendraient-ils pas...
J'essaie de tracer la frontière de décision d'un algorithme perceptron et je suis vraiment confus à propos de quelques choses. Mes instances d'entrée sont sous la forme , essentiellement une instance d'entrée 2D ( et ) et une valeur cible de classe binaire ( ) [1 ou
Je travaille actuellement sur un logiciel de reconnaissance faciale qui utilise des réseaux de neurones à convolution pour reconnaître les visages. Sur la base de mes lectures, je me suis rendu compte qu'un réseau de neurones convolutionnels a partagé des poids, afin de gagner du temps pendant...
J'ai utilisé la méthode d'extraction de réseau fédérateur décrite dans cet article: http://www.pnas.org/content/106/16/6483.abstract Fondamentalement, les auteurs proposent une méthode basée sur des statistiques qui produit une probabilité, pour chaque bord du graphique, que le bord aurait pu...
La modularité d'un graphe est définie sur sa page Wikipédia . Dans un autre article , quelqu'un a expliqué que la modularité peut facilement être calculée (et maximisée) pour les réseaux pondérés car la matrice d'adjacence peut également contenir des liens de valeur. Cependant, je voudrais savoir...
Par exemple, supposons que nous construisons un estimateur d'âge, basé sur l'image d'une personne. Ci-dessous, nous avons deux personnes en costume, mais la première est clairement plus jeune que la seconde. (source: tinytux.com ) Il existe de nombreuses fonctionnalités qui impliquent cela, par...
Je commence par l'apprentissage en profondeur, et j'ai une question dont je n'ai pas trouvé la réponse, peut-être que je n'ai pas cherché correctement. J'ai vu cette réponse , mais on ne sait toujours pas quelle est la perte de perte de poids et comment est-elle liée à la fonction de...
Je comprends que les réseaux de neurones (NN) peuvent être considérés comme des approximateurs universels des deux fonctions et de leurs dérivés, sous certaines hypothèses (à la fois sur le réseau et sur la fonction à approximer). En fait, j'ai fait un certain nombre de tests sur des fonctions...
Supposons que je veuille apprendre un classificateur qui prend un vecteur de nombres en entrée et donne une étiquette de classe en sortie. Mes données d'entraînement se composent d'un grand nombre de paires d'entrée-sortie. Cependant, lorsque je viens de tester certaines nouvelles données, ces...
Comment puis-je calculer le nombre de paramètres dans un réseau neuronal artificiel afin de calculer son
Voici quelque chose que j'ai lu dans le livre Deep Learning d' Ian Goodfellow . Dans le contexte des réseaux de neurones, "la pénalité de la norme du paramètre L2 est communément appelée décroissance du poids. Cette stratégie de régularisation rapproche les poids de l'origine [...]. Plus...
J'ai des problèmes pour comprendre le modèle skip-gram de l'algorithme Word2Vec. Dans un sac de mots continu, il est facile de voir comment les mots de contexte peuvent "s'adapter" dans le réseau neuronal, car vous les basez en moyenne après avoir multiplié chacune des représentations de codage à...
J'essaie d'utiliser un réseau neuronal afin d'approximer la valeur Q dans l'apprentissage Q comme dans les questions sur l'apprentissage Q à l'aide des réseaux de neurones . Comme suggéré dans la première réponse, j'utilise une fonction d'activation linéaire pour la couche de sortie, tandis que...
L'idée derrière le réseau neuronal récurrent (RNN) est claire pour moi. Je le comprends de la manière suivante: nous avons une séquence d'observations ( ) (ou, en d'autres termes, des séries temporelles multivariées). Chaque observation est un vecteur numérique à dimensions. Dans le modèle RNN,...
J'utilise NN à action directe. Je comprends le concept, mais ma question concerne les poids. Comment pouvez-vous les interpréter, c'est-à-dire que représentent-ils ou comment peuvent-ils être sous-estimés (outre les coefficients de fonction)? J'ai trouvé quelque chose appelé "espace de poids", mais...
Récemment, nous avons vu l'émergence du réseau neuronal résiduel, dans lequel, chaque couche se compose d'un module de calcul et d'une connexion de raccourci qui préserve l'entrée de la couche telle que la sortie de la ième couche présente: Le réseau permet d'extraire les caractéristiques...
J'implémentais un article assez populaire " EXPLIQUER ET EXPLIQUER DES EXEMPLES ADVERSAIRES " et dans le document, il forme une fonction objective contradictoire J '' (θ) = αJ (θ) + (1 - α) J '(θ). Il traite α comme un hyperparamètre. α peut être 0,1, 0,2, 0,3, etc. Indépendamment de cet article...
Je lisais le document de normalisation par lots [1] et il y avait une section où se trouve un exemple, essayant de montrer pourquoi la normalisation doit être effectuée avec soin. Honnêtement, je ne peux pas comprendre comment l'exemple fonctionne et je suis vraiment très curieux de comprendre...