Nous définissons une architecture de goulot d'étranglement comme le type trouvé dans le document ResNet où [deux couches conv 3x3] sont remplacées par [une conv 1x1, une conv 3x3 et une autre couche conv 1x1]. Je comprends que les couches conv 1x1 sont utilisées comme une forme de réduction de...
J'ai un modèle de réseau neuronal profond et je dois le former sur mon ensemble de données qui comprend environ 100 000 exemples, mes données de validation contiennent environ 1 000 exemples. Parce qu'il faut du temps pour former chaque exemple (environ 0,5 s pour chaque exemple) et afin d'éviter...
Dans l'implémentation de ResNet par Tensorflow , je trouve qu'ils utilisent l'initialiseur de mise à l'échelle de la variance, je trouve également que l'initialiseur xavier est populaire. Je n'ai pas trop d'expérience à ce sujet, ce qui est mieux en
Dans la formation de réseaux de neurones profonds et peu profonds, pourquoi les méthodes de gradient (par exemple descente de gradient, Nesterov, Newton-Raphson) sont-elles couramment utilisées, par opposition à d'autres métaheuristiques? Par métaheuristique, j'entends des méthodes telles que le...
Avec toutes les discussions et le battage médiatique sur l'apprentissage profond ces jours-ci, j'ai lu des trucs élémentaires à ce sujet. Je viens de découvrir que ce n'est qu'une autre méthode d'apprentissage automatique pour apprendre des modèles à partir de données. Mais ma question est: d'où...
Y a-t-il une différence entre «transfert d'apprentissage» et «adaptation de domaine»? Je ne connais pas le contexte, mais je crois comprendre que nous avons un ensemble de données 1 et que nous nous y entraînons, après quoi nous avons un autre ensemble de données 2 pour lequel nous voulons adapter...
Je comprends les couches convolutionnelles et de mise en commun, mais je ne vois pas la raison d'une couche entièrement connectée dans les CNN. Pourquoi la couche précédente n'est-elle pas directement connectée à la couche de
Je comprends la structure de base de l'autoencodeur variationnel et de l'autoencodeur normal (déterministe) et les mathématiques qui les sous-tendent, mais quand et pourquoi préférerais-je un type d'autoencodeur à l'autre? Tout ce que je peux penser, c'est que la distribution préalable des...
Je suis curieux de savoir à quel point le nœud de biais est important pour l'efficacité des réseaux neuronaux modernes. Je peux facilement comprendre que cela peut être important dans un réseau peu profond avec seulement quelques variables d'entrée. Cependant, les réseaux neuronaux modernes comme...
Je recherche des articles ou des textes qui comparent et discutent (empiriquement ou théoriquement): Les algorithmes de boosting et d' arbres de décision tels que Random Forests ou AdaBoost et GentleBoost ont été appliqués aux arbres de décision. avec Méthodes d'apprentissage en profondeur telles...
Les réseaux de neurones convolutifs les plus courants contiennent des couches de mise en commun pour réduire les dimensions des caractéristiques de sortie. Pourquoi ne pourrais-je pas réaliser la même chose en augmentant simplement la foulée de la couche convolutionnelle? Qu'est-ce qui rend la...
Nous définissons une époque comme ayant parcouru l'intégralité de tous les échantillons d'apprentissage disponibles, et la taille du mini-lot comme le nombre d'échantillons sur lesquels nous faisons la moyenne pour trouver les mises à jour des poids / biais nécessaires pour descendre le gradient....
De nombreux didacticiels en ligne parlent de la descente de gradient et presque tous utilisent une taille de pas fixe (taux d'apprentissage ). Pourquoi n'y a-t-il pas d'utilisation de la recherche de ligne (comme la recherche de ligne en arrière ou la recherche de ligne
J'ai quelques questions qui me portent à confusion concernant le CNN. 1) Les caractéristiques extraites à l'aide de CNN sont invariantes d'échelle et de rotation? 2) Les noyaux que nous utilisons pour la convolution avec nos données sont déjà définis dans la littérature? quel genre de ces grains...
Mes professeurs de physique au lycée, ainsi que le noble lauréat Feynman, présentaient toujours ce qu'ils appelaient des modèles de jouets pour illustrer les concepts et méthodes de base en physique, tels que l'oscillateur harmonique, le pendule, la toupie et la boîte noire. Quels modèles de jouets...
Si vous avez une demi-page pour expliquer l' abandon , comment procéderiez-vous? Quelle est la raison d'être de cette
Peut-on donner des images de taille variable en entrée à un réseau neuronal convolutif pour la détection d'objets? Si possible, comment pouvons-nous faire cela? Mais si nous essayons de recadrer l'image, nous perdrons une partie de l'image et si nous essayons de redimensionner, alors, la clarté de...
Que transmet le nombre de filtres dans une couche de convolution? Comment ce nombre affecte-t-il les performances ou la qualité de l'architecture? Je veux dire, devrions-nous toujours opter pour un plus grand nombre de filtres? qu'est-ce qu'ils ont de bon? et comment les gens attribuent-ils un...
Contexte: Une grande partie de la recherche moderne au cours des 4 dernières années (post alexnet ) semble s'être éloignée de l'utilisation de la formation préalable générative pour les réseaux de neurones afin d'obtenir des résultats de classification de pointe. Par exemple, les meilleurs...
Lors de l'apprentissage du réseau neuronal convolutionnel, j'ai des questions concernant la figure suivante. 1) C1 dans la couche 1 a 6 cartes de caractéristiques, cela signifie-t-il qu'il y a six noyaux convolutionnels? Chaque noyau convolutionnel est utilisé pour générer une carte d'entités basée...