Comment interpréter l'entropie différentielle?

J'ai récemment lu cet article sur l'entropie d'une distribution de probabilité discrète. Il décrit une belle façon de penser à l'entropie comme les bits numériques attendus (au moins lors de l'utilisation de $\log_2$ dans votre définition d'entropie) nécessaires pour coder un message lorsque votre codage est optimal, compte tenu de la distribution de probabilité des mots que vous utilisez.

Cependant, en étendant au cas continu comme ici, je crois que cette façon de penser tombe en panne, car pour toute distribution de probabilité continue (veuillez me corriger si c'est faux), donc je se demandait s'il y avait une belle façon de penser à ce que signifie l'entropie continue, tout comme avec le cas discret. $\sum_x p(x) = \infty$ $p(x)$

entropy information-theory dippynark
la source

Avez-vous essayé de lire des articles Wikipedia sur l'entropie et l'entropie différentielle?

ttnphns

Une distribution continue n'a pas de fonction de masse de probabilité. L'analogue dans le cas continu est l'intégrale d'une densité de probabilité et l'intégrale sur toute la plage de x est égale à 1.

Michael R. Chernick

@MichaelChernick Je n'ai pas dit qu'il en avait un, mais la façon de penser à l'affaire discrète repose sur le fait que la somme est égale à 1.

dippynark

@ttnphns non, je n'ai pas, mais je vais les vérifier maintenant, merci.

dippynark

Voir aussi stats.stackexchange.com/questions/66186/… pour l'interprétation de l'entropie de Shannon. Certaines idées peuvent être transférées.

kjetil b halvorsen

Réponses:

Il n'y a pas d'interprétation de l'entropie différentielle qui serait aussi significative ou utile que celle de l'entropie. Le problème avec les variables aléatoires continues est que leurs valeurs ont généralement une probabilité de 0 et nécessiteraient donc un nombre infini de bits pour être codées.

Si vous regardez la limite de l'entropie discrète en mesurant la probabilité des intervalles $[n\varepsilon, (n + 1)\varepsilon[$ , vous vous retrouvez avec

- \int p (x) \log_{2} p (x) d x - \log_{2} ε

$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$

et non l'entropie différentielle. Cette quantité est en un sens plus significative, mais divergent à l'infini lorsque nous prenons des intervalles de plus en plus petits. Cela a du sens, car nous aurons besoin de plus en plus de bits pour coder dans lequel des nombreux intervalles la valeur de notre valeur aléatoire tombe.

Une quantité plus utile pour examiner les distributions continues est l'entropie relative (également divergence de Kullback-Leibler). Pour les distributions discrètes:

D_{KL} [P | | Q] = \sum_{x} P (x) \log_{2} \frac{P (x)}{Q (x)} .

$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$

$P$ $-\log Q_2(x)$ $x$

D_{KL} [p ∣∣ q] = \int p (x) \log_{2} \frac{p (x)}{q (x)} d x,

$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$

$\log_2 \varepsilon$

$p(x)$ $\lambda(x) = 1$

- \int p (x) \log_{2} p (x) d x = - D_{KL} [p ∣∣ λ] .

$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$

$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$ $n$ $-\log \varepsilon$ $\lambda$

Voir l'exposé de Sergio Verdu pour une excellente introduction à l'entropie relative.

Lucas
la source