Supposons que nous utilisons une taille de lot de 100 échantillons pour l'apprentissage. Donc, dans chaque lot, le poids de chaque neurone (et biais, etc.) est mis à jour en ajoutant le moins du taux d'apprentissage * la valeur d'erreur moyenne que nous avons trouvée en utilisant les 100...
Je suis un débutant dans les réseaux de neurones et j'explore actuellement le modèle word2vec. Cependant, j'ai du mal à comprendre ce qu'est exactement la matrice des fonctionnalités. Je peux comprendre que la première matrice est un vecteur d'encodage à chaud pour un mot donné, mais que signifie...
J'ai lu l' explication de la convolution et je la comprends dans une certaine mesure. Quelqu'un peut-il m'aider à comprendre comment cette opération est liée à la convolution dans les réseaux neuronaux convolutionnels? Le filtre est-il une fonction gqui applique du
La normalisation par lots est décrite dans cet article comme une normalisation de l'entrée d'une fonction d'activation avec des variables d'échelle et de décalageγγ\gamma et ββ\beta. Cet article décrit principalement l'utilisation de la fonction d'activation sigmoïde, ce qui est logique. Cependant,...
Je voudrais utiliser les ANN pour mon problème, mais le problème est que mes numéros de nœuds d'entrées et de sorties ne sont pas fixes. J'ai fait une recherche Google avant de poser ma question et j'ai découvert que le RNN peut m'aider avec mon problème. Mais, tous les exemples que j'ai trouvés...
J'essaie de construire un système de reconnaissance des gestes pour classer les gestes ASL (American Sign Language) , donc mon entrée est censée être une séquence d'images provenant d'une caméra ou d'un fichier vidéo, puis elle détecte la séquence et la mappe à sa correspondance cours (dormir,...
Je forme actuellement un réseau de neurones et je ne peux pas décider lequel utiliser pour implémenter mes critères d'arrêt précoce: perte de validation ou une métrique comme précision / f1score / auc / quoi que ce soit calculé sur l'ensemble de validation. Dans mes recherches, je suis tombé sur...
Je viens d'apprendre la régularisation en tant qu'approche pour contrôler le sur-ajustement, et je voudrais intégrer l'idée dans une simple mise en œuvre de la rétropropagation et du perceptron multicouche (MLP) que j'ai mis en place. Actuellement, pour éviter le sur-ajustement, je fais une...
Je regarde comment implémenter le décrochage sur un réseau de neurones profond et j'ai trouvé quelque chose de contre-intuitif. Dans la phase avant, les activations du masque de décrochage avec un tenseur aléatoire de 1 et 0 pour forcer le filet à apprendre la moyenne des poids. Cela aide le net à...
Y a-t-il des articles publiés qui montrent des différences dans les méthodes de régularisation pour les réseaux de neurones, de préférence sur différents domaines (ou au moins différents ensembles de données)? Je pose la question parce que j'ai actuellement le sentiment que la plupart des gens...
Lors de la mise en œuvre de la descente de gradient en mini-batch pour les réseaux de neurones, est-il important de prendre des éléments aléatoires dans chaque mini-batch? Ou est-ce suffisant de mélanger les éléments au début de la formation une fois? (Je suis également intéressé par des sources...
J'essaie de comprendre l'apprentissage par renforcement et les processus de décision markoviens (MDP) dans le cas où un réseau neuronal est utilisé comme approximateur de fonction. J'ai des difficultés avec la relation entre le MDP où l'environnement est exploré de manière probabiliste, comment...
Lors de la formation de réseaux de neurones, il existe au moins 4 façons de régulariser le réseau: Régularisation L1 Régularisation L2 Abandonner Normalisation des lots plus bien sûr d'autres choses comme le partage du poids et la réduction du nombre de connexions, ce qui pourrait ne pas être une...
Je travaille actuellement sur la recréation des résultats de cet article . Dans cet article, ils décrivent une méthode d'utilisation de CNN pour l'extraction de caractéristiques et ont un modèle acoustique Dnn-hmm et pré-formé à l'aide de RBM. La sous-section A de la section III indique différentes...
Supposons que j'ai un ensemble de signaux du domaine temporel sans aucune étiquette . Je veux les regrouper en 2 ou 3 classes. Les encodeurs automatiques sont des réseaux non supervisés qui apprennent à compresser les entrées. Donc, étant donné une entrée , les poids et , les biais et et la sortie...
J'essaie de construire et de former un réseau neuronal multicouche perceptron qui prédit correctement ce que le président a gagné dans quel comté pour la première fois. J'ai les informations suivantes pour les données d'entraînement. Population totale Âge médian% BachelorDeg ou supérieur Taux de...
C'est un fait bien connu qu'un réseau à une couche ne peut pas prédire la fonction xor, car elle n'est pas séparable linéairement. J'ai tenté de créer un réseau à 2 couches, en utilisant la fonction sigmoïde logistique et backprop, pour prédire xor. Mon réseau a 2 neurones (et un biais) sur la...
Je veux extraire des paramètres d'une image à l'aide d'un réseau neuronal. Exemple: Étant donné l'image d'un mur de briques, le NN devrait extraire la largeur et la hauteur des briques, la couleur et la rugosité. Je peux générer des images pour des paramètres donnés pour entraîner le NN et je veux...
J'utilise le package Kerasdans R pour faire un réseau de neurones. Comment puis-je extraire la sortie d'une couche cachée? J'ai trouvé un exemple en python, mais c'est juste que je n'ai aucune idée de comment faire ça en
J'ai un réseau neuronal simple (NN) pour la classification MNIST. Il comprend 2 couches cachées, chacune avec 500 neurones. Les dimensions du NN sont donc: 784-500-500-10. ReLU est utilisé dans tous les neurones, softmax est utilisé en sortie et l'entropie croisée est la fonction de perte. Ce qui...