Les réseaux de neurones artificiels (RNA) sont une large classe de modèles de calcul librement basés sur des réseaux de neurones biologiques. Ils englobent les NN à action directe (y compris les NN "profonds"), les NN convolutifs, les NN récurrents, etc.
Existe-t-il une méthode standard et acceptée pour sélectionner le nombre de couches et le nombre de nœuds dans chaque couche dans un réseau neuronal à rétroaction? Je suis intéressé par les moyens automatisés de construction de réseaux de
Lors de la formation d'un réseau de neurones, quelle différence cela fait-il de définir: taille du lot à et nombre d'itérations àaaabbb en fonction de la taille du lot à et du nombre d'itérations àcccddd où ?ab=cdab=cd ab = cd Autrement dit, en supposant que nous formions le réseau de neurones avec...
Je suis sûr que beaucoup de gens répondront avec des liens vers "laissez-moi google ça pour vous", alors je tiens à dire que j'ai essayé de comprendre cela, alors pardonnez mon manque de compréhension ici, mais je ne peux pas comprendre comment le La mise en œuvre pratique d'un réseau de neurones...
J'utilise Python Keras packagepour réseau de neurones. Ceci est le lien . Est batch_sizeégal au nombre d'échantillons de test? De Wikipedia nous avons cette information: Cependant, dans d'autres cas, l'évaluation du gradient de somme peut nécessiter des évaluations coûteuses des gradients de toutes...
J'entraîne un réseau de neurones mais la perte d'entraînement ne diminue pas. Comment puis-je réparer cela? Je ne parle pas de surajustement ou de régularisation. Je demande comment résoudre le problème où les performances de mon réseau n'améliorent pas l' ensemble de formation . Cette question est...
L’état actuel de la non-linéarité consiste à utiliser des unités linéaires rectifiées (ReLU) au lieu de la fonction sigmoïde dans un réseau neuronal profond. Quels sont les avantages? Je sais que la formation d'un réseau lorsque ReLU est utilisé serait plus rapide et inspirée davantage par la...
Quelles sont les fonctions de coût courantes utilisées pour évaluer les performances des réseaux de neurones? Détails (n'hésitez pas à sauter le reste de cette question, mon intention est simplement de fournir des éclaircissements sur la notation que les réponses peuvent utiliser pour les aider à...
Récemment, j'ai lu sur l'apprentissage en profondeur et je suis confus sur les termes (ou dire technologies). Quelle est la différence entre Réseaux de neurones convolutifs (CNN), Machines Boltzmann restreintes (RBM) et Auto-encodeurs?
Je n'ai pas vu la question posée précisément en ces termes, et c'est pourquoi je pose une nouvelle question. Ce qui m'intéresse, ce n'est pas la définition d'un réseau de neurones, mais la différence réelle avec un réseau de neurones profonds. Pour plus de contexte: je sais ce qu'est un réseau de...
Je suis en train de faire le tutoriel Udacity Deep Learning. Dans la leçon 3, ils parlent d'une convolution 1x1. Cette convolution 1x1 est utilisée dans Google Inception Module. J'ai du mal à comprendre ce qu'est une convolution 1x1. J'ai aussi vu ce post de Yann Lecun. Quelqu'un pourrait-il bien...
De nombreux ouvrages et tutoriels sur les réseaux de neurones consacrent beaucoup de temps à l'algorithme de rétropropagation, qui est essentiellement un outil permettant de calculer le gradient. Supposons que nous construisons un modèle avec ~ 10K paramètres / poids. Est-il possible d'exécuter...
Dans le contexte des réseaux de neurones, quelle est la différence entre le taux d'apprentissage et la perte de poids?
Dans de nombreuses bibliothèques de réseaux neuronaux, il existe des «couches d'intégration», comme dans Keras ou Lasagne . Je ne suis pas sûr de comprendre son fonctionnement, malgré la lecture de la documentation. Par exemple, dans la documentation de Keras, il est écrit: Transformez les entiers...
Je suis novice en apprentissage automatique et j'essaie de comprendre comment appliquer le réseau de neurones à la prévision de séries chronologiques. J'ai trouvé des ressources liées à ma requête, mais il me semble que je suis encore un peu perdu. Je pense qu'une explication de base sans trop de...
La fonction d'activation de tanh est: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Où , la fonction sigmoïde, est définie comme suit: .σ(x)σ(x)\sigma(x) σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} Des questions: Est-ce vraiment important...
Au cours des dernières années, les réseaux de neurones convolutionnels (ou peut-être les réseaux de neurones profonds en général) sont devenus de plus en plus profonds, avec des réseaux à la pointe de la technologie allant de 7 couches ( AlexNet ) à 1 000 couches ( réseaux résiduels) en 4 années....
Une époque en descente de gradient stochastique est définie comme un passage unique dans les données. Pour chaque minibatch SGD, échantillons sont extraits, le gradient calculé et les paramètres mis à jour. Dans le réglage d'époque, les échantillons sont prélevés sans remplacement.kkk Mais cela...
Je viens d’entendre que c’est une bonne idée de choisir les poids initiaux d’un réseau de neurones dans la plage , où est le nombre d'entrées dans un neurone donné. On suppose que les ensembles sont normalisés - moyenne 0, variance 1 (je ne sais pas si cela
Les réseaux de neurones récurrents diffèrent des réseaux "normaux" par le fait qu'ils ont une couche "mémoire". En raison de cette couche, les NN récurrents sont supposés être utiles dans la modélisation de séries chronologiques. Cependant, je ne suis pas sûr de bien comprendre comment les...
Existe-t-il des directives générales sur l'emplacement des couches d'abandon dans un réseau de