Comment l'entropie dépend-elle de l'emplacement et de l'échelle?

L' entropie d'une distribution continue avec la fonction de densité $f$ est définie comme étant le négatif de l'espérance de $\log(f),$ et est donc égale à

$$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$$

On dit aussi que toute variable aléatoire $X$ dont la distribution a la densité $f$ a l'entropie $H_f.$ (Cette intégrale est bien définie même lorsque $f$ a des zéros, car $\log(f(x))f(x)$ peut être pris égal à zéro à de telles valeurs.)

Lorsque $X$ et $Y$ sont des variables aléatoires pour lesquelles $Y = X+\mu$ ( $\mu$ est une constante), $Y$ est dit être une version de $X$ décalée de $\mu.$ De même, lorsque $Y = X\sigma$ ( $\sigma$ est une constante positive), $Y$ est dit être une version de $X$ mise à l'échelle par $\sigma.$La combinaison d'une échelle avec un décalage donne $Y=X\sigma + \mu.$

Ces relations se produisent fréquemment. Par exemple, la modification des unités de mesure de $X$ décale et la met à l'échelle.

Comment l'entropie de $Y = X\sigma + \mu$ liée à celle de $X?$

Puisque l'élément de probabilité de $X$ est $f(x)\mathrm{d}x,$ le changement de la variable $y = x\sigma + \mu$ est équivalent à $x = (y-\mu)/\sigma,$ où

$$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

il s'ensuit que la densité de $Y$ est

$$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$$

Par conséquent, l'entropie de $Y$ est

$$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

qui, en remettant la variable à $x = (y-\mu)/\sigma,$ produit

$$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$$

$f(x)\mathrm{d}x$

La conclusion est

$Y = X\sigma + \mu$$X$$\log(\sigma).$

$\sigma \ge 1$$\log(\sigma).$

---

$\mu$$\sigma$$(\mu,\sigma)$$\mu=0$$\sigma=1.$

$$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$$

D'où

$$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$$

$(\mu,\sigma)$$\log\sigma$

$$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$$

tel que rapporté par Wikipedia .