dans presque tous les exemples de code que j'ai vus sur un VAE, les fonctions de perte sont définies comme suit (c'est du code tensorflow, mais j'ai vu des choses similaires pour theo, torch etc. C'est aussi pour un convnet, mais ce n'est pas trop pertinent non plus , affecte uniquement les axes...
J'ai lu ici ce qui suit: Les sorties sigmoïdes ne sont pas centrées sur zéro . Cela n'est pas souhaitable car les neurones des couches ultérieures de traitement dans un réseau de neurones (plus à ce sujet bientôt) recevraient des données qui ne sont pas centrées sur zéro. Cela a des implications...
Je m'intéresse à la régression avec les réseaux de neurones. Les réseaux de neurones avec zéro nœud caché + connexions à couche sautée sont des modèles linéaires. Qu'en est-il des mêmes réseaux neuronaux mais avec des nœuds cachés? Je me demande quel serait le rôle des connexions de saut de couche?...
Fermé . Cette question est basée sur l'opinion . Il n'accepte pas actuellement de réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin d'y répondre avec des faits et des citations en modifiant ce message . Fermé il y a 2 ans . Problème fondamental avec l'apprentissage en...
Je souhaite utiliser le deep learning dans mon projet. J'ai parcouru quelques articles et une question m'est venue: y a-t-il une différence entre le réseau neuronal à convolution et l'apprentissage en profondeur? Ces choses sont-elles les mêmes ou ont-elles des différences majeures, et quelle est...
Pourquoi les fonctions d'activation des unités linéaires rectifiées (ReLU) sont-elles considérées comme non linéaires? f(x)=max(0,x)f(x)=max(0,x) f(x) = \max(0,x) Ils sont linéaires lorsque l'entrée est positive et de ma compréhension pour débloquer la puissance représentative des réseaux profonds,...
Quels sont les avantages, pourquoi utiliserait-on plusieurs LSTM, empilés côte à côte, dans un réseau profond? J'utilise un LSTM pour représenter une séquence d'entrées en tant qu'entrée unique. Donc, une fois que j'ai cette représentation unique - pourquoi la repasserais-je? Je pose la question...
J'essaie de mieux comprendre les réseaux de neurones convolutifs en écrivant du code Python qui ne dépend pas des bibliothèques (comme Convnet ou TensorFlow), et je me retrouve coincé dans la littérature sur la façon de choisir des valeurs pour la matrice du noyau, quand effectuer une convolution...
Selon ceci et cette réponse, les auto-encodeurs semblent être une technique qui utilise des réseaux de neurones pour réduire les dimensions. Je voudrais en outre savoir ce qu'est un autoencodeur variationnel (ses principales différences / avantages par rapport à un autoencodeur "traditionnel") et...
Dans Alex Krizhevsky, et al. Classification Imagenet avec des réseaux de neurones convolutionnels profonds, ils énumèrent le nombre de neurones dans chaque couche (voir schéma ci-dessous). L'entrée du réseau est de 150528 dimensions et le nombre de neurones dans les couches restantes du réseau est...
Je lisais sur l' optimiseur Adam pour le Deep Learning et suis tombé sur la phrase suivante dans le nouveau livre Deep Learning de Bengio, Goodfellow et Courville: Adam est généralement considéré comme assez robuste pour le choix des paramètres hyper, bien que le taux d'apprentissage doive parfois...
Les mécanismes d'attention ont été utilisés dans divers articles sur le Deep Learning au cours des dernières années. Ilya Sutskever, responsable de la recherche chez Open AI, les a félicités avec enthousiasme: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello de...
J'essaie donc de faire de la pré-formation sur des images d'humains en utilisant des filets convolutionnels. Je lis les journaux ( article1 et Epais2 ) et ce lien stackoverflow , mais je ne suis pas sûr que je suis comprendre la structure des filets (il est pas bien défini dans les journaux). Des...
Je suis conscient qu'il y a eu beaucoup d'avancées en matière de reconnaissance d'image, de classification d'image, etc. avec des réseaux neuronaux profonds et convolutionnels. Mais si je forme un réseau sur, disons, des images PNG, cela ne fonctionnera- t-il que pour les images ainsi encodées?...
Existe-t-il de bons documents qui couvrent certaines méthodes méthodiques pour choisir les dimensions des filtres, regrouper les unités et déterminer le nombre de couches
Je travaille avec les réseaux neuronaux convolutionnels (CNN) depuis un certain temps maintenant, principalement sur les données d'image pour la segmentation sémantique / segmentation d'instance. J'ai souvent visualisé le softmax de la sortie réseau comme une "carte thermique" pour voir à quel...
J'écoutais un discours et j'ai vu cette diapositive: Est-ce
Nous définissons une architecture de goulot d'étranglement comme le type trouvé dans le document ResNet où [deux couches conv 3x3] sont remplacées par [une conv 1x1, une conv 3x3 et une autre couche conv 1x1]. Je comprends que les couches conv 1x1 sont utilisées comme une forme de réduction de...
Contexte: Oui, la machine Boltzmann restreinte (RBM) PEUT être utilisée pour initier les poids d'un réseau neuronal. De plus, il PEUT être utilisé de manière "couche par couche" pour construire un réseau de croyances profondes (c'est-à-dire pour former une -ième couche sur le dessus de la -ième...
Eh bien récemment, je travaillais sur l'apprentissage d'algorithmes de renforcement, tels que adaboost, gradient boost, et je savais que le plus faible apprenant utilisé était les arbres. Je veux vraiment savoir s'il existe des exemples récents de succès (je veux dire des articles ou des articles)...