Une quantité mathématique conçue pour mesurer la quantité de caractère aléatoire d'une variable aléatoire.
L'entropie de Shannon est le négatif de la somme des probabilités de chaque résultat multiplié par le logarithme des probabilités de chaque résultat. A quoi sert le logarithme dans cette équation? Une réponse intuitive ou visuelle (par opposition à une réponse profondément mathématique) recevra des...
J'entraîne un réseau de neurones pour classer un ensemble d'objets dans n-classes. Chaque objet peut appartenir à plusieurs classes à la fois (multi-classes, multi-étiquettes). J'ai lu que pour les problèmes multi-classes, il est généralement recommandé d'utiliser une entropie croisée catégorique...
Je veux mesurer l'entropie / densité d'information / ressemblance-motif d'une matrice binaire à deux dimensions. Permettez-moi de montrer quelques images pour clarification: Cet affichage devrait avoir une entropie assez élevée: UNE) Cela devrait avoir une entropie moyenne: B) Enfin, ces images...
Dans mon esprit, la divergence de KL entre la distribution de l'échantillon et la distribution vraie est simplement la différence entre l'entropie croisée et l'entropie. Pourquoi utilisons-nous l'entropie croisée comme fonction de coût dans de nombreux modèles d'apprentissage automatique, alors que...
Tout d'abord, j'ai réalisé que si je devais effectuer des prédictions binaires, je devais créer au moins deux classes en effectuant un encodage à chaud. Est-ce correct? Cependant, l'entropie croisée binaire est-elle réservée aux prédictions avec une seule classe? Si je devais utiliser une perte...
J'ai vu quelques questions ici sur ce que cela signifie en termes simples, mais elles sont trop laïques pour mon objectif ici. J'essaie de comprendre mathématiquement la signification du score AIC. Mais en même temps, je ne veux pas d’une preuve rigoureuse qui me ferait perdre de vue les points les...
Je sais que l'entropie est la mesure du caractère aléatoire d'un processus / variable et elle peut être définie comme suit. pour une variable aléatoire X∈X∈X \in set AAA : - H(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) . Dans le livre sur...
Je lis sur l' entropie et j'ai du mal à conceptualiser ce que cela signifie dans le cas présent. La page wiki indique ce qui suit: La distribution de probabilité des événements, couplée à la quantité d'informations de chaque événement, forme une variable aléatoire dont la valeur attendue est la...
Dans cet article , la talentueuse chercheuse Cosma Shalizi soutient que pour accepter pleinement une vision bayésienne subjective, il faut également accepter un résultat non physique selon lequel la flèche du temps (donnée par le flux d'entropie) devrait en fait reculer . Il s'agit principalement...
Dans 5.5, Deep Learning (par Ian Goodfellow, Yoshua Bengio et Aaron Courville), il déclare que Toute perte constituée d'une log-vraisemblance négative est une entropie croisée entre la distribution empirique définie par l'ensemble d'apprentissage et la distribution de probabilité définie par le...
Lorsque vous entraînez des réseaux neuronaux de segmentation de pixels, tels que des réseaux entièrement convolutionnels, comment décidez-vous d'utiliser la fonction de perte d'entropie croisée par rapport à la fonction de perte de coefficient de dés? Je me rends compte que c'est une question...
L'entropie croisée et la divergence KL sont des outils pour mesurer la distance entre deux distributions de probabilité. Quelle est la différence? De plus, la minimisation de KL est équivalente à la minimisation de l'entropie croisée.H(P,Q)=−∑xP(x)logQ(x)H(P,Q)=−∑xP(x)logQ(x) H(P,Q) = -\sum_x...
J'ai utilisé le principe de l'entropie maximale pour justifier l'utilisation de plusieurs distributions dans divers contextes; cependant, je n'ai pas encore été en mesure de formuler une interprétation statistique, par opposition à une théorie de l'information, de l'entropie maximale. En d'autres...
Après beaucoup de chalutage de Cross Validated, je n'ai toujours pas l'impression d'être plus proche de la compréhension de la divergence KL en dehors du domaine de la théorie de l'information. Il est plutôt étrange que quelqu'un ayant une formation en mathématiques trouve beaucoup plus facile de...
Quelle est la façon correcte le plus théorique / physique-théorique de calculer l'entropie d'une image? Je ne me soucie pas de l'efficacité informatique en ce moment - je la veux théoriquement aussi correcte que possible. Commençons par une image en niveaux de gris. Une approche intuitive consiste...
Je ne suis en aucun cas un statisticien (j'ai suivi un cours de statistique mathématique mais rien de plus), et récemment, en étudiant la théorie de l'information et la mécanique statistique, j'ai rencontré ce truc appelé "mesure d'incertitude" / "entropie". J'ai lu la dérivation de Khinchin comme...
J'ai utilisé des distributions log normales comme distributions antérieures pour les paramètres d'échelle (pour les distributions normales, les distributions t, etc.) quand j'ai une idée approximative de ce que l'échelle devrait être, mais je veux me tromper en disant que je ne sais pas beaucoup à...
J'expérimente un peu les auto-encodeurs, et avec tensorflow j'ai créé un modèle qui essaie de reconstruire l'ensemble de données MNIST. Mon réseau est très simple: X, e1, e2, d1, Y, où e1 et e2 sont des couches de codage, d2 et Y sont des couches de décodage (et Y est la sortie reconstruite). X a...
Dans la définition des ensembles communs typiques (dans "Elements of Information Theory", ch. 7.6, p. 195), nous utilisons −1nlogp(xn)−1nlogp(xn)-\frac{1}{n} \log{p(x^n)} comme entropie empirique d'une séquence avec . Je n'ai jamais rencontré cette terminologie auparavant. Il n'est défini...
Supposons que j'ai deux ensembles XXX et YYY et une distribution de probabilité conjointe sur ces ensembles p(x,y)p(x,y)p(x,y) . Soit p(x)p(x)p(x) et p(y)p(y)p(y) les distributions marginales sur XXX et YYY respectivement. Les informations mutuelles entre XXX et YYY sont définies comme suit:...