La fonction de coût du réseau neuronal est J(W,b)J(W,b)J(W,b) , et il est prétendu être non convexe . Je ne comprends pas très bien pourquoi c'est ainsi, car je vois que cela ressemble beaucoup à la fonction de coût de la régression logistique, n'est-ce pas? Si elle est non convexe, la dérivée du...
Tout d'abord, j'ai réalisé que si je devais effectuer des prédictions binaires, je devais créer au moins deux classes en effectuant un encodage à chaud. Est-ce correct? Cependant, l'entropie croisée binaire est-elle réservée aux prédictions avec une seule classe? Si je devais utiliser une perte...
Le codage clairsemé est défini comme l’apprentissage d’un ensemble trop complet de vecteurs de base pour représenter les vecteurs d’entrée (<- pourquoi voulons-nous cela). Quelles sont les différences entre le codage fragmenté et le codeur automatique? Quand utiliserons-nous le codage fragmenté...
Le LSTM a été inventé spécifiquement pour éviter le problème du gradient disparaissant. Il est supposé faire cela avec le carrousel à erreur constante (CEC), qui sur le diagramme ci-dessous (de Greff et al. ) Correspond à la boucle autour de la cellule . (source: deeplearning4j.org ) Et je...
J'ai lu quelques articles sur les avantages et les inconvénients de chaque méthode, certains affirmant que l'AG n'apporte aucune amélioration dans la recherche de la solution optimale, tandis que d'autres montrent que celle-ci est plus efficace. Il semble que le GA soit généralement préféré dans la...
Ils semblent tous représenter des variables aléatoires par les nœuds et une (in) dépendance via les arêtes (éventuellement dirigées). Je suis particulièrement intéressé par le point de vue d'un
Contexte d'introduction Au sein d'un réseau neuronal convolutionnel, nous avons généralement une structure / un flux général qui ressemble à ceci: image d'entrée (c'est-à-dire un vecteur 2D x) (La 1ère couche convolutionnelle (Conv1) commence ici ...) convoluez un ensemble de filtres ( w1) le long...
Dans le cours sur les réseaux neuronaux et l'apprentissage profond d' Andrew Ng sur Coursera, il dit que l'utilisation de tanhtanhtanh est presque toujours préférable à l'utilisation de sigmoidsigmoidsigmoid . La raison qu'il donne est que les sorties utilisant tanhtanhtanh centrées autour de 0...
Quelqu'un a-t-il déjà vu des publications sur la formation préalable au réseau de neurones à convolution profonde? Je n'ai vu que de la pré-formation non supervisée dans les machines à codeur automatique ou à boltzman
J'ai un ensemble de données en streaming, des exemples sont disponibles un à la fois. J'aurais besoin de faire la classification multi-classe sur eux. Dès que j'ai intégré un exemple de formation au processus d'apprentissage, je dois le supprimer. Parallèlement, j'utilise également le dernier...
Je suis novice en modélisation avec les réseaux de neurones, mais j’ai réussi à établir un réseau de neurones avec tous les points de données disponibles qui correspond bien aux données observées. Le réseau de neurones a été réalisé en R avec le paquet nnet: require(nnet) ##33.8 is the highest...
Je suis complètement nouveau dans les réseaux de neurones mais très intéressé à les comprendre. Cependant, ce n'est pas facile du tout de commencer. Quelqu'un pourrait-il recommander un bon livre ou tout autre type de ressource? Y a-t-il une lecture obligatoire? Je suis reconnaissant pour tout type...
J'étudie les LSTM depuis un certain temps. Je comprends à un haut niveau comment tout fonctionne. Cependant, en les implémentant à l'aide de Tensorflow, j'ai remarqué que BasicLSTMCell nécessite un certain nombre d'unités (c'est-à-dire num_units) un paramètre. D'après cette explication très...
Les ordinateurs peuvent depuis longtemps jouer aux échecs en utilisant une technique de «force brute», en cherchant à une certaine profondeur puis en évaluant la position. Cependant, l'ordinateur AlphaGo n'utilise qu'un ANN pour évaluer les positions (il ne fait aucune recherche en profondeur pour...
J'ai travaillé sur un problème de régression où l'entrée est une image et l'étiquette est une valeur continue entre 80 et 350. Les images sont de certains produits chimiques après qu'une réaction ait lieu. La couleur qui apparaît indique la concentration d'un autre produit chimique qui reste, et...
Comment pouvons-nous expliquer la différence entre la régression logistique et le réseau de neurones à un public qui n'a pas de formation en statistiques?
Pourquoi utilisons-nous des unités linéaires rectifiées (ReLU) avec des réseaux de neurones? Comment cela améliore-t-il le réseau neuronal? Pourquoi disons-nous que ReLU est une fonction d'activation? La fonction d'activation softmax n'est-elle pas pour les réseaux de neurones? Je suppose que nous...
J'ai lu cette page: http://neuralnetworksanddeeplearning.com/chap3.html et il a dit que la couche de sortie sigmoïde avec entropie croisée est assez similaire à la couche de sortie softmax avec log-vraisemblance. que se passe-t-il si j'utilise sigmoïde avec log-vraisemblance ou softmax avec...
Je lisais l'article ImageNet Classification with Deep Convolutional Neural Networks et dans la section 3, ils expliquaient l'architecture de leur Convolutional Neural Network, ils expliquaient comment ils préféraient utiliser: non linéarité non saturanteF( x ) = m a x ( 0 , x )...
Quelle est la différence entre le réseau neuronal , le réseau bayésien , l' arbre de décision et les réseaux de Petri , même s'ils sont tous des modèles graphiques et décrivent visuellement la relation de cause à