Dans un récent post de blog de Rong Ge, il était dit que: On pense que pour de nombreux problèmes, dont l’apprentissage de réseaux profonds, presque tous les minimums locaux ont une valeur fonctionnelle très proche de l’optimum global, et qu’il est donc suffisant de trouver un minimum local. D'où...
J'ai écrit un simple MLP dans TensorFlow qui modélise une porte XOR . Donc pour: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] il devrait produire les éléments suivants: output_data = [[0.], [1.], [1.], [0.]] Le réseau comporte une couche d'entrée, une couche cachée et une couche de sortie...
Je connais bien les algorithmes de base de descente de gradient pour la formation de réseaux de neurones. J'ai lu le document proposant Adam: ADAM: UNE MÉTHODE D'OPTIMISATION STOCHASTIQUE . Bien que j'ai certainement quelques idées (du moins), le papier semble être trop élevé pour moi en général....
Alors que le choix des fonctions d'activation pour la couche cachée est assez clair (principalement sigmoïde ou tanh), je me demande comment décider de la fonction d'activation pour la couche en sortie. Les choix courants sont les fonctions linéaires, les fonctions sigmoïdes et les fonctions...
J'essaie de comprendre la partie convolution des réseaux de neurones convolutionnels. En regardant la figure suivante: Je n'ai aucun problème à comprendre la première couche de convolution où nous avons 4 noyaux différents (de taille ), que nous convolrons avec l'image d'entrée pour obtenir 4...
Je veux apprendre les réseaux de neurones. Je suis un linguiste informatisé. Je connais des méthodes d’apprentissage statistique et peut coder en Python. Je cherche à commencer avec ses concepts et à connaître un ou deux modèles populaires qui pourraient être utiles du point de vue de la...
J'essaie d'ajouter une couche softmax à un réseau de neurones formé à la rétropropagation, alors j'essaie de calculer son gradient. La sortie softmax est hj=ezj∑ezihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}} oùjjjest le nombre de neurones de sortie. Si je le dérive alors je reçois...
Quelqu'un peut-il expliquer ce que font les unités maxout d'un réseau de neurones? Comment fonctionnent-ils et en quoi diffèrent-ils des unités conventionnelles? J'ai essayé de lire le document "Maxout Network" de Goodfellow et al. (du groupe du professeur Yoshua Bengio), mais je ne comprends pas...
Momentum est utilisé pour diminuer les fluctuations de poids lors d’itérations successives:αα\alpha Δ ωje( t + 1 ) = - η∂E∂wje+ α Δ ωje( t ) ,Δωje(t+1)=-η∂E∂wje+αΔωje(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t), où E( w )E(w)E({\bf w}) est la fonction...
Je me demande si quelqu'un pourrait suggérer quels sont les bons points de départ pour effectuer une détection de communauté / partitionnement / regroupement de graphes sur un graphique comportant des arêtes pondérées et non dirigées . Le graphique en question a environ 3 millions d'arêtes et...
J'essaie de prédire le résultat d'un système complexe en utilisant des réseaux de neurones (ANN). Les résultats (dépendants) vont de 0 à 10 000. Les différentes variables d'entrée ont des plages différentes. Toutes les variables ont des distributions à peu près normales. Je considère différentes...
Je ne fais que me mouiller dans les statistiques alors je suis désolé si cette question n’a pas de sens. J'ai utilisé des modèles de Markov pour prédire les états cachés (casinos injustes, lancers de dés, etc.) et des réseaux de neurones pour étudier les clics d'utilisateurs sur un moteur de...
Pourquoi la fonction sigmoïde standard de facto, , est-elle si populaire dans les réseaux de neurones (non profonds) et la régression logistique?11 + e- x11+e−x\frac{1}{1+e^{-x}} Pourquoi n'utilisons-nous pas beaucoup d'autres fonctions pouvant être dérivées, avec un temps de calcul plus rapide ou...
J'ai trouvé des unités linéaires rectifiées (ReLU) louées à plusieurs endroits comme solution au problème du gradient de fuite pour les réseaux de neurones. En d’autres termes, on utilise max (0, x) comme fonction d’activation. Lorsque l'activation est positive, il est évident qu'elle est meilleure...
Je cherche un document qui pourrait aider à donner des directives sur la façon de choisir les hyperparamètres d’une architecture profonde, comme des encodeurs automatiques superposés ou des réseaux de valeurs profondes. Il y a beaucoup d'hyperparamètres et je suis très confus sur la façon de les...
Dans les documents de classification d'ImageNet, les taux d'erreur parmi les premiers et les cinq premiers sont des unités importantes pour mesurer le succès de certaines solutions, mais quels sont ces taux d'erreur? Dans la classification ImageNet avec les réseaux de neurones à convolution...
Les réseaux de neurones sont souvent traités comme des "boîtes noires" en raison de leur structure complexe. Ce n'est pas idéal, car il est souvent bénéfique de comprendre intuitivement le fonctionnement d'un modèle en interne. Quelles sont les méthodes de visualisation du fonctionnement d'un...
J'entraîne un réseau de neurones et la perte d'apprentissage diminue, mais la perte de validation ne diminue pas, ou elle diminue beaucoup moins que ce à quoi je m'attendais, selon des références ou des expériences avec des architectures et des données très similaires. Comment puis-je réparer cela?...
Quelle est la différence entre les termes "noyau" et "filtre" dans le contexte des réseaux de neurones à
Un problème que j'ai souvent vu dans le contexte des réseaux de neurones en général, et des réseaux de neurones profonds en particulier, est qu'ils sont "gourmands en données". avec lequel former le réseau. D'après ce que je comprends, cela est dû au fait que les NNets, notamment les Deep NNets,...