Quelle est la différence entre l'entropie croisée et la divergence KL?

L'entropie croisée et la divergence KL sont des outils pour mesurer la distance entre deux distributions de probabilité. Quelle est la différence? De plus, la minimisation de KL est équivalente à la minimisation de l'entropie croisée.

H (P, Q) = - \sum_{x} P (x) \log Q (x)

$H(P,Q) = -\sum_x P(x)\log Q(x)$

K L (P | Q) = \sum_{x} P (x) \log \frac{P (x)}{Q (x)}

$KL(P | Q) = \sum_{x} P(x)\log {\frac{P(x)}{Q(x)}}$

Je veux les connaître instinctivement.

Merci beaucoup d'avance.

entropy kullback-leibler cross-entropy Jourd
la source

Réponses:

Vous aurez besoin de certaines conditions pour revendiquer l'équivalence entre la minimisation de l'entropie croisée et la minimisation de la divergence KL. Je placerai votre question dans le contexte des problèmes de classification utilisant l'entropie croisée comme fonctions de perte.

Rappelons d'abord que l'entropie est utilisée pour mesurer l'incertitude d'un système, qui est défini comme pour comme les probabilités des différents états du système. Du point de vue de la théorie de l'information, est la quantité d'informations nécessaires pour éliminer l'incertitude.

S (v) = - \sum_{i} p (v_{i}) \log p (v_{i}),

$\begin{equation} S(v)=-\sum_ip(v_i)\log p(v_i)\label{eq:entropy}, \end{equation}$

p (v_{i})

$p(v_i)$

v_{i}

$v_i$

S (v)

$S(v)$

Par exemple, l'événement A I will die eventuallyest presque certain (peut-être pouvons-nous résoudre le problème de vieillissement pour le mot almost), il a donc une faible entropie qui ne nécessite que les informations de the aging problem cannot be solvedpour le rendre certain. Cependant, l'événement B The president will die in 50 yearsest beaucoup plus incertain que A, il a donc besoin de plus d'informations pour lever les incertitudes.

Regardons maintenant la définition de la divergence KL entre les événements A et B où le premier terme du côté droit est l'entropie de l'événement A, le deuxième terme peut être interprété comme l'attente de l'événement B en termes d'événement A. Et le décrit à quel point B est différent de A du point de vue de A.

D_{K L} (A ∥ B) = \sum_{i} p_{A} (v_{i}) \log p_{A} (v_{i}) - p_{A} (v_{i}) \log p_{B} (v_{i}),

$\begin{equation} D_{KL}(A\parallel B) = \sum_ip_A(v_i)\log p_A(v_i) - p_A(v_i)\log p_B(v_i)\label{eq:kld}, \end{equation}$

D_{K L}

$D_{KL}$

Pour relier l'entropie croisée à l'entropie et la divergence KL, nous formalisons l'entropie croisée en termes d'événements A et B comme D'après les définitions, nous pouvons facilement voir Si est une constante, alors minimiser équivaut à minimiser .

H (A, B) = - \sum_{i} p_{A} (v_{i}) \log p_{B} (v_{i}) .

$\begin{equation} H(A, B) = -\sum_ip_A(v_i)\log p_B(v_i)\label{eq:crossentropy}. \end{equation}$

H (A, B) = D_{K L} (A ∥ B) + S_{A} .

$\begin{equation} H(A, B) = D_{KL}(A\parallel B)+S_A\label{eq:entropyrelation}. \end{equation}$

S_{A}

$S_A$

H (A, B)

$H(A, B)$

D_{K L} (A ∥ B)

$D_{KL}(A\parallel B)$

Une autre question suit naturellement: comment l'entropie peut être une constante. Dans une tâche d'apprentissage automatique, nous commençons avec un ensemble de données (noté ) qui représente le problème à résoudre, et l'objectif d'apprentissage est de rendre la distribution estimée du modèle (notée ) aussi proche que possible. que possible à la vraie distribution du problème (noté ). est inconnu et représenté par . Par conséquent, dans un monde idéal, nous attendons et minimisons . Et heureusement, dans la pratique $P(\mathcal D)$ $P(model)$ $P(truth)$ $P(truth)$ $P(\mathcal D)$

P (m o d e l) \approx P (D) \approx P (t r u t h)

$\begin{equation} P(model)\approx P(\mathcal D) \approx P(truth) \end{equation}$

D_{K L} (P (D) ∥ P (m o d e l))

$D_{KL}(P(\mathcal D)\parallel P(model))$

D

$\mathcal D$ est donnée, ce qui signifie que son entropie est fixée comme une constante.

S (D)

$S(D)$

doublle
la source

Merci pour votre réponse. Cela a approfondi ma compréhension. Donc, quand nous avons un ensemble de données, il est plus efficace de minimiser l'entropie croisée plutôt que KL, non? Cependant, je ne peux pas comprendre leur bonne utilisation. En d'autres termes, quand dois-je minimiser la KL ou l'entropie croisée?

Jourd

Après avoir lu votre réponse, je pense qu'il ne sert à rien de minimiser KL car nous avons toujours un ensemble de données, P (D).

Jourd

Idéalement, on choisirait la divergence KL pour mesurer la distance entre deux distributions. Dans le contexte de la classification, la perte d'entropie croisée provient généralement de la probabilité de log négatif, par exemple, lorsque vous choisissez la distribution de Bernoulli pour modéliser vos données.

doubllle

Vous voudrez peut-être regarder cet excellent article . La symétrie n'est pas un problème de classification car le but des modèles d'apprentissage automatique est de rendre la distribution prédite aussi proche que possible du P (D) fixe, bien que des régularisations soient généralement ajoutées pour éviter le sur-ajustement.

doubllle

J'ai compris l'asymétrie de KL. Cependant, je n'ai pas encore compris comment utiliser la minimisation de KL ou Cross-Entropy différemment. Cela signifie que quand dois-je minimiser KL et quand dois-je minimiser l'entropie croisée. Je pense que est toujours une constante, n'est-ce pas?

S_{A}

$S_A$

Jourd

Je suppose que c'est parce que les modèles fonctionnent généralement avec les échantillons emballés en mini-lots. Pour la divergence KL et l'entropie croisée, leur relation peut être écrite comme D'après l'équation, nous pourrait voir que la divergence KL peut s'écarter dans une entropie croisée de p et q (la première partie), et une entropie globale de la vérité fondamentale p (la deuxième partie).

H (q, p) = D_{K L} (p, q) + H (p) = - \sum_{i} p_{i} l o g (q_{i})

$H(q, p) = D_{KL}(p, q)+H(p) = -\sum_i{p_ilog(q_i)}$

Dans de nombreux projets d'apprentissage automatique, le mini-lot est impliqué pour accélérer la formation, où le d'un mini-lot peut être différent du global . Dans un tel cas, Cross-Entropy est relativement plus robuste dans la pratique tandis que la divergence KL a besoin d'un H (p) plus stable pour terminer son travail. $p'$ $p$

zewen liu
la source

Cette réponse est ce que je cherchais. D'après ma propre expérience actuelle, qui implique l'apprentissage d'une probabilité cible, BCE est bien plus robuste que KL. Fondamentalement, KL était inutilisable. KL et BCE ne sont pas des fonctions de perte "équivalentes".

Nicholas Leonard

Quand vous avez dit "la première partie" et "la deuxième partie", laquelle était laquelle?

Josh

La «première partie» désigne (p, q) et la «deuxième partie» signifie H (p).

D_{K L}

$D_{KL}$

zewen liu il y a

Voici comment j'y pense:

\begin{matrix} (1) & D_{K L} (p (y_{i} | x_{i}) | | q (y_{i} | x_{i}, θ)) = H (p (y_{i} | x_{i}, θ), q (y_{i} | x_{i}, θ)) - H (p (y_{i} | x_{i}, θ)) \end{matrix}

$D_{KL}(p(y_i | x_i) \:||\: q(y_i | x_i, \theta)) = H(p(y_i | x_i, \theta), q(y_i | x_i, \theta)) - H(p(y_i | x_i, \theta)) \tag{1}\label{eq:kl}$

où et sont deux distributions de probabilité. En apprentissage automatique, nous connaissons généralement , qui est la distribution de la cible. Par exemple, dans un problème de classification binaire, , donc si , et , et vice versa. Étant donné chaque , où est le nombre total de points dans l'ensemble de données, nous voulons généralement minimiser la divergence KL entre la distribution de la cible et notre distribution prédite $p$ $q$ $p$ $\mathcal{Y} = \{0, 1\}$ $y_i = 1$ $p(y_i = 1 | x) = 1$ $p(y_i = 0 | x) = 0$ $y_i \: \forall \: i = 1, 2, \ldots, N$ $N$ $D_{KL}(p,q)$ $p(y_i | x)$ $q(y_i | x, \theta)$ , moyenne sur tout . (Nous le faisons en ajustant nos paramètres de modèle . Ainsi, pour chaque exemple d'apprentissage, le modèle crache une distribution sur les étiquettes de classe et ) Pour chaque exemple, puisque la cible est fixe, sa distribution ne change jamais. Ainsi, est constant pour chaque , quels que soient nos paramètres de modèle actuels . Ainsi, le minimiseur de est égal au minimiseur de . $i$ $\theta$ $0$ $1$ $H(p(y_i | x_i))$ $i$ $\theta$ $D_{KL}(p,q)$ $H(p, q)$

Si vous aviez une situation où et étaient tous deux variables (par exemple, dans lesquels et étaient deux variables latentes) et que vous vouliez faire correspondre les deux distributions, alors vous devriez choisir entre minimiser et minimisant . En effet, minimiser implique maximiser tandis que minimiser implique minimiser . Pour voir ce dernier, nous pouvons résoudre l'équation ( ) pour : $p$ $q$ $x_1\sim p$ $x_2\sim q$ $D_{KL}$ $H(p, q)$ $D_{KL}$ $H(p)$ $\ref{eq:kl}$ $H(p,q)$

\begin{matrix} (2) & H (p, q) = D_{K L} (p, q) + H (p) \end{matrix}

$H(p,q) = D_{KL}(p,q) + H(p) \tag{2}\label{eq:hpq}$ Le premier donnerait une distribution large pour tandis que le second en produirait une qui est concentrée dans un ou quelques modes. Notez que c'est votre choix en tant que praticien ML que vous souhaitiez minimiser ou . Une petite discussion de ceci est donnée dans le contexte de l'inférence variationnelle (VI) ci-dessous.

p

$p$

D_{K L} (p, q)

$D_{KL}(p, q)$

D_{K L} (q, p)

$D_{KL}(q, p)$

Dans VI, vous devez choisir entre minimiser et , qui ne sont pas égaux car la divergence KL n'est pas symétrique. Si nous traitons à nouveau comme connu, alors minimiser entraînerait une distribution qui est nette et focalisée sur une ou quelques zones tout en minimisant résulterait dans une distribution qui est large et couvre une large gamme du domaine de . Encore une fois, ce dernier est parce que minimiser implique de maximiser l'entropie de . $D_{KL}(p,q)$ $D_{KL}(q,p)$ $p$ $D_{KL}(p, q)$ $q$ $D_{KL}(q, p)$ $q$ $q$ $D_{KL}(q, p)$ $q$

Vivek Subramanian
la source

Dans l'équation (1) sur le côté gauche, vous n'avez pas dans , tandis que sur le côté droit vous avez . Pourquoi? Toujours dans la 5ème ligne, vous devez utiliser au lieu de .

θ

$\theta$

p (y_{i} | x_{i})

$p(y_i|x_i)$

p (y_{i} | x_{i}, θ)

$p(y_i|x_i, \theta)$

x_{i}

$x_i$

x

$x$

Rodvi

De plus, l'entropie sera-t-elle généralement constante dans le cas des classificateurs génératifs , dans le cas des modèles de régression et dans le cas des modèles non paramétriques (ne supposant pas de cas variable latent )?

H (p)

$H(p)$

q (y, x | θ)

$q(y,x|\theta)$

Rodvi