Un étranger au domaine ML / DL; a commencé le cours Udacity Deep Learning basé sur Tensorflow; faire la tâche 3 problème 4; essayer de régler le taux d'apprentissage avec la configuration suivante: Taille du lot 128 Nombre d'étapes: suffisant pour remplir 2 époques Tailles des calques masqués:...
Dans l'apprentissage automatique (pour les problèmes de régression), je vois souvent l'erreur quadratique moyenne (MSE) ou l'erreur absolue moyenne (MAE) utilisée comme fonction d'erreur pour minimiser (plus le terme de régularisation). Je me demande s'il existe des situations où l'utilisation d'un...
Les progrès récents dans les réseaux de neurones sont résumés par une séquence de nouvelles architectures caractérisées principalement par sa complexité croissante de conception. De LeNet5 (1994) à AlexNet (2012), à Overfeat (2013) et GoogleLeNet / Inception (2014) et ainsi de suite ... Y a-t-il...
Dans le livre Deep Learning d' Ian Goodfellow , il est écrit que Parfois, la fonction de perte dont nous nous soucions réellement (disons, erreur de classification) n'est pas celle qui peut être optimisée efficacement. Par exemple, la minimisation exacte de la perte 0-1 attendue est généralement...
Je lisais le document Deep Residual Learning for Image Recognition et j'avais du mal à comprendre avec 100% de certitude ce qu'implique un bloc résiduel sur le plan informatique. En lisant leur article, ils ont la figure 2: qui illustre ce qu'est un bloc résiduel. Le calcul d'un bloc résiduel...
La normalisation des lots a été attribuée à des améliorations substantielles des performances dans les réseaux neuronaux profonds. De nombreux documents sur Internet montrent comment l'implémenter sur une base d'activation par activation. J'ai déjà implémenté backprop en utilisant l'algèbre...
Je veux connaître la différence entre la régression linéaire dans une analyse d'apprentissage automatique régulière et la régression linéaire dans le cadre d'un "apprentissage profond". Quels algorithmes sont utilisés pour la régression linéaire dans le cadre de l'apprentissage en...
J'ai configuré une recherche de grille pour un tas de paramètres. J'essaie de trouver les meilleurs paramètres pour un réseau neuronal Keras qui effectue une classification binaire. La sortie est soit un 1 soit un 0. Il y a environ 200 fonctionnalités. Quand j'ai fait une recherche dans la grille,...
J'ai un ensemble de données contenant 34 colonnes d'entrée et 8 colonnes de sortie. Une façon de résoudre le problème consiste à prendre les 34 entrées et à créer un modèle de régression individuel pour chaque colonne de sortie. Je me demande si ce problème peut être résolu en utilisant un seul...
L'exemple ci-dessous est tiré des conférences de deeplearning.ai montre que le résultat est la somme du produit élément par élément (ou "multiplication par élément". Les nombres rouges représentent les poids dans le filtre: ( 1 ∗ 1 ) + ( 1 ∗ 0 ) + ( 1 ∗ 1 ) + ( 0 ∗ 0 ) + ( 1 ∗ 1 ) + ( 1 ∗ 0 ) + ( 0...
Contexte: J'étudie le chapitre 6 du Deep Learning par Ian Goodfellow et Yoshua Bengio et Aaron Courville. Dans la section 6.2.2.2 (pages 182 de 183 qui peuvent être consultées ici ), l'utilisation de sigmoïde pour produire est motivée.P(y=1|x)P(y=1|x)P(y=1|x) Pour résumer une partie du matériel,...
J'ai du mal à faire le lien mathématique entre un réseau de neurones et un modèle graphique. Dans les modèles graphiques, l'idée est simple: la distribution de probabilité factorise en fonction des cliques du graphique, les potentiels étant généralement de la famille exponentielle. Existe-t-il un...
J'implémentais un article assez populaire " EXPLIQUER ET EXPLIQUER DES EXEMPLES ADVERSAIRES " et dans le document, il forme une fonction objective contradictoire J '' (θ) = αJ (θ) + (1 - α) J '(θ). Il traite α comme un hyperparamètre. α peut être 0,1, 0,2, 0,3, etc. Indépendamment de cet article...
Dans le livre de Goodfellow (2016) sur l'apprentissage profond, il a parlé de l'équivalence de l'arrêt précoce de la régularisation L2 ( https://www.deeplearningbook.org/contents/regularization.html page 247). L'approximation quadratique de la fonction de coût jjj est donnée par: J^( θ ) = J( w∗) +...
Supposons que je veuille apprendre un classificateur qui prend un vecteur de nombres en entrée et donne une étiquette de classe en sortie. Mes données d'entraînement se composent d'un grand nombre de paires d'entrée-sortie. Cependant, lorsque je viens de tester certaines nouvelles données, ces...
Comment les cartes d'activation d'une couche donnée sont-elles connectées aux filtres de cette couche? Je ne demande pas comment faire une opération convolutionnelle entre le filtre et la carte d'activation, je demande le type de connectivité de ces deux-là. Par exemple, supposons que vous...
Je veux utiliser l'apprentissage en profondeur pour former une détection binaire visage / non-visage, quelle perte dois-je utiliser, je pense que c'est SigmoidCrossEntropyLoss ou Hinge-loss . Est-ce vrai, mais je me demande aussi si je devrais utiliser softmax mais avec seulement deux...
J'ai des problèmes pour comprendre le modèle skip-gram de l'algorithme Word2Vec. Dans un sac de mots continu, il est facile de voir comment les mots de contexte peuvent "s'adapter" dans le réseau neuronal, car vous les basez en moyenne après avoir multiplié chacune des représentations de codage à...
Je suis intéressé par (Deep) Reinforcement Learning (RL) . Avant de plonger dans ce domaine, dois-je suivre un cours de théorie des jeux (GT) ? Quel est le lien entre GT et RL
Récemment, nous avons vu l'émergence du réseau neuronal résiduel, dans lequel, chaque couche se compose d'un module de calcul et d'une connexion de raccourci qui préserve l'entrée de la couche telle que la sortie de la ième couche présente: Le réseau permet d'extraire les caractéristiques...