J'entraîne un réseau de neurones pour classer un ensemble d'objets dans n-classes. Chaque objet peut appartenir à plusieurs classes à la fois (multi-classes, multi-étiquettes). J'ai lu que pour les problèmes multi-classes, il est généralement recommandé d'utiliser une entropie croisée catégorique...
Dans mon esprit, la divergence de KL entre la distribution de l'échantillon et la distribution vraie est simplement la différence entre l'entropie croisée et l'entropie. Pourquoi utilisons-nous l'entropie croisée comme fonction de coût dans de nombreux modèles d'apprentissage automatique, alors que...
Tout d'abord, j'ai réalisé que si je devais effectuer des prédictions binaires, je devais créer au moins deux classes en effectuant un encodage à chaud. Est-ce correct? Cependant, l'entropie croisée binaire est-elle réservée aux prédictions avec une seule classe? Si je devais utiliser une perte...
Dans 5.5, Deep Learning (par Ian Goodfellow, Yoshua Bengio et Aaron Courville), il déclare que Toute perte constituée d'une log-vraisemblance négative est une entropie croisée entre la distribution empirique définie par l'ensemble d'apprentissage et la distribution de probabilité définie par le...
Lorsque vous entraînez des réseaux neuronaux de segmentation de pixels, tels que des réseaux entièrement convolutionnels, comment décidez-vous d'utiliser la fonction de perte d'entropie croisée par rapport à la fonction de perte de coefficient de dés? Je me rends compte que c'est une question...
L'entropie croisée et la divergence KL sont des outils pour mesurer la distance entre deux distributions de probabilité. Quelle est la différence? De plus, la minimisation de KL est équivalente à la minimisation de l'entropie croisée.H(P,Q)=−∑xP(x)logQ(x)H(P,Q)=−∑xP(x)logQ(x) H(P,Q) = -\sum_x...
J'expérimente un peu les auto-encodeurs, et avec tensorflow j'ai créé un modèle qui essaie de reconstruire l'ensemble de données MNIST. Mon réseau est très simple: X, e1, e2, d1, Y, où e1 et e2 sont des couches de codage, d2 et Y sont des couches de décodage (et Y est la sortie reconstruite). X a...
Le coût de l'entropie croisée est-il logique dans le contexte de la régression (par opposition à la classification)? Si oui, pourriez-vous donner un exemple de jouet via TensorFlow? Sinon, pourquoi pas? Je lisais sur l'entropie croisée dans Neural Networks and Deep Learning par Michael Nielsen et...
J'ai commencé à en apprendre davantage sur les réseaux de neurones avec le didacticiel neuromnetworksanddeeplearning dot com. En particulier dans le 3ème chapitre, il y a une section sur la fonction d'entropie croisée, et définit la perte d'entropie croisée comme:
Je comprends que, étant donné un ensemble de observations indépendantes l' estimateur du maximum de vraisemblance (ou, de manière équivalente, le MAP avec a priori plat / uniforme) qui identifie les paramètres \ mathbf {θ} qui produisent la distribution du modèle p_ {modèle} \ gauche (\, \ cdot \,;...
Pour deux distributions discrètes et , l'entropie croisée est définie commepppqqq H( p , q) = - ∑Xp ( x ) logq( x ) .H(p,q)=-∑Xp(X)Journalq(X).H(p,q)=-\sum_x p(x)\log q(x). Je me demande pourquoi ce serait une mesure intuitive de la distance entre deux distributions de probabilité? Je vois que est...
J'ai essayé de créer un programme pour former des réseaux neuronaux sur mon ordinateur. Pour le réseau en question, j'ai décidé d'utiliser la fonction Cross Entropy Error: E= -∑jtjlnojE=−∑jtjlnojE = -\sum_jt_j\ln o_j Où est la sortie cible pour le neurone , et est la sortie de ce neurone, essayant...