La fonction softmax, couramment utilisée dans les réseaux de neurones pour convertir des nombres réels en probabilités, est la même fonction que la distribution de Boltzmann, la distribution de probabilité sur les énergies pour un ensemble de particules en équilibre thermique à une température...
J'ai un très grand ensemble de données et il manque environ 5% de valeurs aléatoires. Ces variables sont corrélées entre elles. L'exemple de jeu de données R suivant n'est qu'un exemple de jouet avec des données corrélées factices. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1,...
Y a-t-il une différence entre les termes "réseau neuronal" et
Je ne pense pas qu'il puisse y avoir une réponse à tous les modèles d'apprentissage en profondeur. Quels modèles d'apprentissage profond sont paramétriques et lesquels ne le sont pas et
Voici un exemple de code keras qui l'utilise: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))
Récemment, j'ai lu des articles sur le réseau neuronal bayésien (BNN) [Neal, 1992] , [Neal, 2012] , qui donne une relation de probabilité entre l'entrée et la sortie dans un réseau neuronal. La formation d'un tel réseau neuronal se fait par MCMC, qui est différent de l'algorithme traditionnel de...
La normalisation des lots a été attribuée à des améliorations substantielles des performances dans les réseaux neuronaux profonds. De nombreux documents sur Internet montrent comment l'implémenter sur une base d'activation par activation. J'ai déjà implémenté backprop en utilisant l'algèbre...
J'ai regardé les conférences CS231N de Stanford et j'essaie de comprendre quelques problèmes dans les architectures CNN. Ce que j'essaie de comprendre, c'est s'il existe des directives générales pour choisir la taille du filtre de convolution et des choses comme les enjambées ou est-ce plus un art...
Donc, en regardant les réseaux de neurones à fonction de base radiale, j'ai remarqué que les gens ne recommandent que l'utilisation d'une seule couche cachée, alors qu'avec les réseaux de neurones perceptron multicouches, plus de couches sont considérées comme meilleures. Étant donné que les...
Pour autant que je sache, les encodeurs automatiques et t-SNE sont utilisés pour la réduction de dimensionnalité non linéaire. Quelles sont les différences entre eux et pourquoi devrais-je utiliser l'un par rapport à
J'étudie et j'essaie de mettre en œuvre des réseaux de neurones convolutionnels, mais je suppose que cette question s'applique aux perceptrons multicouches en général. Les neurones de sortie de mon réseau représentent l'activation de chaque classe: le neurone le plus actif correspond à la classe...
Disons que j'utilise un RNN / LSTM pour faire une analyse de sentiment, qui est une approche à plusieurs (voir ce blog ). Le réseau est formé à travers une rétropropagation tronquée dans le temps (BPTT), où le réseau est déroulé pour seulement 30 dernières étapes comme d'habitude. Dans mon cas,...
Si nous traitons par exemple 10 exemples dans un lot, je comprends que nous pouvons additionner la perte pour chaque exemple, mais comment fonctionne la rétropropagation en ce qui concerne la mise à jour des poids pour chaque exemple? Par exemple: Exemple 1 -> perte = 2 Exemple 2 -> perte =...
Pour aller plus loin avec les circonvolutions, je suis tombé sur une couche DepthConcat , un bloc de construction des modules de création proposés , qui combine la sortie de plusieurs tenseurs de taille variable. Les auteurs appellent cela "concaténation de filtres". Il semble y avoir une...
Contexte: J'étudie le chapitre 6 du Deep Learning par Ian Goodfellow et Yoshua Bengio et Aaron Courville. Dans la section 6.2.2.2 (pages 182 de 183 qui peuvent être consultées ici ), l'utilisation de sigmoïde pour produire est motivée.P(y=1|x)P(y=1|x)P(y=1|x) Pour résumer une partie du matériel,...
Comment coder la date et l'heure d'un événement pour un réseau neuronal? Je n'ai pas de série chronologique continue, mais certains événements avec date et heure, et j'analyse une sorte d'intérêt. Cet intérêt diffère entre les matinées et les soirées, et diffère entre les jours de la semaine, et...
Les progrès récents dans les réseaux de neurones sont résumés par une séquence de nouvelles architectures caractérisées principalement par sa complexité croissante de conception. De LeNet5 (1994) à AlexNet (2012), à Overfeat (2013) et GoogleLeNet / Inception (2014) et ainsi de suite ... Y a-t-il...
J'ai commencé à en apprendre davantage sur les réseaux de neurones avec le didacticiel neuromnetworksanddeeplearning dot com. En particulier dans le 3ème chapitre, il y a une section sur la fonction d'entropie croisée, et définit la perte d'entropie croisée comme:
L'analyse en composantes principales (ACP) élimine-t-elle le bruit dans l'ensemble de données? Si l'ACP n'élimine pas le bruit dans l'ensemble de données, que fait réellement l'ACP à l'ensemble de données? Quelqu'un peut-il m'aider à ce
Je commence par l'apprentissage en profondeur, et j'ai une question dont je n'ai pas trouvé la réponse, peut-être que je n'ai pas cherché correctement. J'ai vu cette réponse , mais on ne sait toujours pas quelle est la perte de perte de poids et comment est-elle liée à la fonction de...