La normalisation par lots est décrite dans cet article comme une normalisation de l'entrée d'une fonction d'activation avec des variables d'échelle et de décalageγγ\gamma et ββ\beta. Cet article décrit principalement l'utilisation de la fonction d'activation sigmoïde, ce qui est logique. Cependant,...
Je lis maintenant un livre intitulé "Apprentissage automatique avec Scikit-Learn et TensorFlow" et au chapitre 11, il contient la description suivante de l'explication de ELU (Exponential ReLU). Troisièmement, la fonction est fluide partout, y compris autour de z = 0, ce qui permet d'accélérer la...
Je suis en train de lire l'article clé Séquence à séquence d'apprentissage avec les réseaux de neurones par Ilya Sutskever et Quoc Le. Sur la première page, il mentionne brièvement que: A surprising example of the power of DNNs is their ability to sort N N-bit numbers using only 2 hidden layers of...
Pour une raison quelconque, AlphaGo Zero ne reçoit pas autant de publicité que l'AlphaGo original, malgré ses résultats incroyables. Partant de zéro, il a déjà battu AlphaGo Master et a dépassé de nombreux autres critères. Encore plus incroyable, cela se fait en 40 jours. Google le nomme "sans...
J'apprends à utiliser Keras et j'ai eu un succès raisonnable avec mon ensemble de données étiqueté en utilisant les exemples de Deep Learning pour Python de Chollet . L'ensemble de données est ~ 1000 séries temporelles de longueur 3125 avec 3 classes potentielles. Je voudrais aller au-delà des...
J'essaie de mettre en œuvre un algorithme où étant donné une image avec plusieurs objets sur une table plane, souhaitée est la sortie de masques de segmentation pour chaque objet. Contrairement aux CNN, l'objectif ici est de détecter des objets dans un environnement inconnu. Quelles sont les...
J'essaie de construire un système de reconnaissance des gestes pour classer les gestes ASL (American Sign Language) , donc mon entrée est censée être une séquence d'images provenant d'une caméra ou d'un fichier vidéo, puis elle détecte la séquence et la mappe à sa correspondance cours (dormir,...
Je forme actuellement un réseau de neurones et je ne peux pas décider lequel utiliser pour implémenter mes critères d'arrêt précoce: perte de validation ou une métrique comme précision / f1score / auc / quoi que ce soit calculé sur l'ensemble de validation. Dans mes recherches, je suis tombé sur...
Récemment, Google a rendu public un rêve profond intéressant. Outre la génération artistique telle que http://deepdreamgenerator.com/ , voyez-vous des applications potentielles du rêve profond en vision par ordinateur ou en apprentissage
Je regarde comment implémenter le décrochage sur un réseau de neurones profond et j'ai trouvé quelque chose de contre-intuitif. Dans la phase avant, les activations du masque de décrochage avec un tenseur aléatoire de 1 et 0 pour forcer le filet à apprendre la moyenne des poids. Cela aide le net à...
Supposons que vous ayez une couche d'entrée avec n neurones et que la première couche cachée ait neurones, avec typiquement . Ensuite, vous calculez l'activation du ème neurone dans la couche cachée parmmmm < nm<nm < nunejuneja_jjjj unej= f(∑i = 1 .. nwi ,
Je suis docteur en mathématiques. étudiant qui souhaite aller dans l'industrie en tant que Data Scientist après l'obtention du diplôme. Je donnerai brièvement quelques informations sur ma formation avant de poser ma question, afin qu'elle soit mieux comprise: Cours de mathématiques: Cela a été...
Numer.ai existe depuis un certain temps maintenant et il ne semble y avoir que peu de messages ou d'autres discussions à ce sujet sur le Web. Le système a changé de temps en temps et la configuration d'aujourd'hui est la suivante: former (N = 96K) et tester (N = 33K) des données avec 21 entités...
J'essaie de faire une analyse des sentiments. Afin de convertir les mots en vecteurs de mots, j'utilise le modèle word2vec. Supposons que j'ai toutes les phrases dans une liste nommée «phrases» et que je passe ces phrases à word2vec comme suit: model = word2vec.Word2Vec(sentences, workers=4 ,...
Dans cet article très cité , les auteurs donnent la discussion suivante sur le nombre de paramètres de poids. Je ne sais pas très bien pourquoi il a des paramètres . Je pense que ce devrait être car chacun des canaux d'entrée partage le même filtre, qui a paramètres. 49 C C 4949 C249C249C^249...
Je travaille à l'analyse des données EEG, qui devront éventuellement être classées. Cependant, obtenir des étiquettes pour les enregistrements coûte quelque peu cher, ce qui m'a amené à envisager des approches non supervisées, afin de mieux utiliser nos quantités assez importantes de données non...
Dans l'article Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network de Christian Ledig et al., La distance entre les images (utilisée dans la fonction de perte) est calculée à partir de cartes de caractéristiques extraites du réseau VGG19. Les deux utilisés dans...
J'essaie de générer un modèle intelligent qui peut analyser un ensemble de mots ou de chaînes et les classer en tant que noms, numéros mobiles, adresses, villes, États, pays et autres entités à l'aide de l'apprentissage automatique ou de l'apprentissage profond. J'avais cherché des approches, mais...
J'essaie de former cette implémentation Keras de Deeplabv3 + sur Pascal VOC2012, en utilisant le modèle pré-formé (qui a également été formé sur cet ensemble de données). J'ai obtenu des résultats étranges avec une précision convergeant rapidement vers 1.0: 5/5 [==============================] -...
La normalisation des lots et les ReLU sont tous deux des solutions au problème du gradient de fuite. Si nous utilisons la normalisation par lots, devrions-nous alors utiliser des sigmoïdes? Ou existe-t-il des fonctionnalités des ReLU qui en valent la peine, même lorsque vous utilisez batchnorm? Je...