Questions marquées «kullback-leibler»

Je dois déterminer la divergence KL entre deux Gaussiennes. Je compare mes résultats à ceux - ci , mais je ne peux pas reproduire leurs résultats. Mon résultat est évidemment faux, car le KL n'est pas 0 pour KL (p, p). Je me demande où je fais une erreur et demande si quelqu'un peut la repérer....

J'ai appris sur l'intuition qui se cache derrière la divergence KL, en quoi une fonction de distribution de modèle diffère de la distribution théorique / vraie des données. La source que je lis poursuit en disant que la compréhension intuitive de la « distance » entre ces deux distributions est...

Je ne parviens pas à calculer la formule de divergence KL en supposant deux distributions normales multivariées. J'ai résolu le cas univarié assez facilement. Cependant, cela fait un bon moment que je n'ai pas pris les statistiques mathématiques, alors j'ai du mal à les étendre au cas multivarié....

Dans mon esprit, la divergence de KL entre la distribution de l'échantillon et la distribution vraie est simplement la différence entre l'entropie croisée et l'entropie. Pourquoi utilisons-nous l'entropie croisée comme fonction de coût dans de nombreux modèles d'apprentissage automatique, alors que...

Je peux voir qu'il y a beaucoup de différences formelles entre les mesures de distance Kullback – Leibler vs Kolmogorov-Smirnov. Cependant, les deux sont utilisés pour mesurer la distance entre les distributions. Y a-t-il une situation typique où l'un devrait être utilisé à la place de l'autre?...

Je cherche une explication intuitive pour les questions suivantes: En statistique et en théorie de l’information, quelle est la différence entre la distance de Bhattacharyya et la divergence de KL, en tant que mesures de la différence entre deux distributions de probabilité discrètes? Ont-ils...

Regarde cette image: Si nous tirons un échantillon de la densité rouge, alors certaines valeurs devraient être inférieures à 0,25 alors qu'il est impossible de générer un tel échantillon à partir de la distribution bleue. Par conséquent, la distance de Kullback-Leibler de la densité rouge à la...

Existe-t-il des mesures de similitude ou de distance entre deux matrices de covariance symétrique (toutes deux ayant les mêmes dimensions)? Je pense ici aux analogues de la divergence KL de deux distributions de probabilités ou de la distance euclidienne entre vecteurs sauf appliquée aux matrices....

L'entropie croisée et la divergence KL sont des outils pour mesurer la distance entre deux distributions de probabilité. Quelle est la différence? De plus, la minimisation de KL est équivalente à la minimisation de l'entropie croisée.H(P,Q)=−∑xP(x)logQ(x)H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = -\sum_x...

Quelle est la différence pratique entre la métrique de Wasserstein et la divergence de Kullback-Leibler ? La métrique de Wasserstein est également appelée distance du moteur de la Terre . De Wikipédia: La métrique de Wasserstein (ou Vaserstein) est une fonction de distance définie entre les...

Après beaucoup de chalutage de Cross Validated, je n'ai toujours pas l'impression d'être plus proche de la compréhension de la divergence KL en dehors du domaine de la théorie de l'information. Il est plutôt étrange que quelqu'un ayant une formation en mathématiques trouve beaucoup plus facile de...

J'étudie les arbres de classification et de régression, et l'une des mesures pour l'emplacement divisé est le score GINI. Maintenant, je suis habitué à déterminer le meilleur emplacement divisé lorsque le log du rapport de vraisemblance des mêmes données entre deux distributions est nul, ce qui...

Quelqu'un peut-il prouver le lien suivant entre la métrique d'information de Fisher et l'entropie relative (ou divergence KL) d'une manière purement mathématique rigoureuse? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) )...

Pourquoi la divergence KL n'est-elle pas négative? Du point de vue de la théorie de l'information, j'ai une telle compréhension intuitive: Disons qu'il y a deux ensembles UNEUNEA et BBB qui sont composés du même ensemble d'éléments étiquetés par XXx . p ( x )p(X)p(x) et q( x )q(X)q(x) sont des...

Considérons les deux distributions de probabilité suivantes P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 J'ai calculé la divergence Kullback-Leibler qui est égale à , je veux savoir en général ce que ce nombre me montre? En général, la...

J'utilise KL Divergence comme mesure de dissimilarité entre 2 P et Q .p.m.f.p.m.f.p.m.f. PPPQQQ =-∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i

Je sais que KL Divergence n'est pas symétrique et ne peut pas être strictement considéré comme une métrique. Si oui, pourquoi est-il utilisé lorsque JS Divergence satisfait les propriétés requises pour une métrique? Y a-t-il des scénarios où la divergence KL peut être utilisée mais pas la...

Je vais utiliser la divergence KL dans mon code python et j'ai eu ce tutoriel . Sur ce tutoriel, implémenter la divergence KL est assez simple. kl = (model * np.log(model/actual)).sum() Si je comprends bien, la distribution de probabilité de modelet actualdevrait être <= 1. Ma question est,...

Je compare deux distributions avec une divergence KL qui me renvoie un nombre non standardisé qui, selon ce que j'ai lu sur cette mesure, est la quantité d'informations nécessaires pour transformer une hypothèse en l'autre. J'ai deux questions: a) Existe-t-il un moyen de quantifier une divergence...

Je ne suis pas mathématicien. J'ai recherché sur Internet KL Divergence. Ce que j'ai appris, c'est que la divergence KL mesure les informations perdues lorsque nous approchons la distribution d'un modèle par rapport à la distribution d'entrée. Je les ai vues entre deux distributions continues ou...