Tout d'abord: je sais, il n'y a pas de nombre général de taille d'échantillon requis pour former un réseau neuronal. Cela dépend de trop de facteurs comme la complexité de la tâche, le bruit dans les données, etc. Et plus j'aurai d'échantillons de formation, meilleur sera mon réseau. Mais je me...
Voici un exemple de code keras qui l'utilise: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))
J'ai regardé les conférences CS231N de Stanford et j'essaie de comprendre quelques problèmes dans les architectures CNN. Ce que j'essaie de comprendre, c'est s'il existe des directives générales pour choisir la taille du filtre de convolution et des choses comme les enjambées ou est-ce plus un art...
La fonction softmax, couramment utilisée dans les réseaux de neurones pour convertir des nombres réels en probabilités, est la même fonction que la distribution de Boltzmann, la distribution de probabilité sur les énergies pour un ensemble de particules en équilibre thermique à une température...
J'ai commencé à en apprendre davantage sur les réseaux de neurones avec le didacticiel neuromnetworksanddeeplearning dot com. En particulier dans le 3ème chapitre, il y a une section sur la fonction d'entropie croisée, et définit la perte d'entropie croisée comme:
Contexte: J'étudie le chapitre 6 du Deep Learning par Ian Goodfellow et Yoshua Bengio et Aaron Courville. Dans la section 6.2.2.2 (pages 182 de 183 qui peuvent être consultées ici ), l'utilisation de sigmoïde pour produire est motivée.P(y=1|x)P(y=1|x)P(y=1|x) Pour résumer une partie du matériel,...
Les progrès récents dans les réseaux de neurones sont résumés par une séquence de nouvelles architectures caractérisées principalement par sa complexité croissante de conception. De LeNet5 (1994) à AlexNet (2012), à Overfeat (2013) et GoogleLeNet / Inception (2014) et ainsi de suite ... Y a-t-il...
Si j'ai une topologie fixe non récurrente (DAG) (ensemble fixe de nœuds et de bords, mais l'algorithme d'apprentissage peut faire varier le poids sur les bords) de neurones sigmoïdes avec neurones d'entrée qui ne peuvent prendre que des chaînes dans en entrée et conduit à une sortie (qui génère une...
J'ai du mal à faire le lien mathématique entre un réseau de neurones et un modèle graphique. Dans les modèles graphiques, l'idée est simple: la distribution de probabilité factorise en fonction des cliques du graphique, les potentiels étant généralement de la famille exponentielle. Existe-t-il un...
Je ne sais pas si cela convient à ce site, mais je commence mon MSE en informatique (BS en mathématiques appliquées) et je veux obtenir une solide formation en apprentissage automatique (je vais très probablement poursuivre un doctorat). Un de mes sous-intérêts est les réseaux de neurones. Quel est...
J'essaie d'utiliser le neuralnetpackage de R (documentation ici ) pour la prédiction. Voici ce que j'essaie de faire: library(neuralnet) x <- cbind(runif(50, min=1, max=500), runif(50, min=1, max=500)) y <- x[, 1] * x[, 2] train <- data.frame(x, y) n <- names(train) f <-...
J'ai du mal à comprendre cette phrase: La première architecture proposée est similaire à la NNLM à action directe, où la couche cachée non linéaire est supprimée et la couche de projection est partagée pour tous les mots (pas seulement la matrice de projection); ainsi, tous les mots sont projetés...
Lors de la mise en œuvre d'un autoencodeur avec réseau de neurones, la plupart des gens utiliseront sigmoïde comme fonction d'activation. Pouvons-nous utiliser ReLU à la place? (Étant donné que ReLU n'a pas de limite sur la limite supérieure, ce qui signifie essentiellement que l'image d'entrée...
Par exemple, supposons que nous construisons un estimateur d'âge, basé sur l'image d'une personne. Ci-dessous, nous avons deux personnes en costume, mais la première est clairement plus jeune que la seconde. (source: tinytux.com ) Il existe de nombreuses fonctionnalités qui impliquent cela, par...
J'ai des problèmes pour comprendre le modèle skip-gram de l'algorithme Word2Vec. Dans un sac de mots continu, il est facile de voir comment les mots de contexte peuvent "s'adapter" dans le réseau neuronal, car vous les basez en moyenne après avoir multiplié chacune des représentations de codage à...
J'essaie d'utiliser un réseau neuronal afin d'approximer la valeur Q dans l'apprentissage Q comme dans les questions sur l'apprentissage Q à l'aide des réseaux de neurones . Comme suggéré dans la première réponse, j'utilise une fonction d'activation linéaire pour la couche de sortie, tandis que...
L'idée derrière le réseau neuronal récurrent (RNN) est claire pour moi. Je le comprends de la manière suivante: nous avons une séquence d'observations ( ) (ou, en d'autres termes, des séries temporelles multivariées). Chaque observation est un vecteur numérique à dimensions. Dans le modèle RNN,...
J'utilise NN à action directe. Je comprends le concept, mais ma question concerne les poids. Comment pouvez-vous les interpréter, c'est-à-dire que représentent-ils ou comment peuvent-ils être sous-estimés (outre les coefficients de fonction)? J'ai trouvé quelque chose appelé "espace de poids", mais...
Récemment, nous avons vu l'émergence du réseau neuronal résiduel, dans lequel, chaque couche se compose d'un module de calcul et d'une connexion de raccourci qui préserve l'entrée de la couche telle que la sortie de la ième couche présente: Le réseau permet d'extraire les caractéristiques...
Je lisais le document de normalisation par lots [1] et il y avait une section où se trouve un exemple, essayant de montrer pourquoi la normalisation doit être effectuée avec soin. Honnêtement, je ne peux pas comprendre comment l'exemple fonctionne et je suis vraiment très curieux de comprendre...