Qui a inventé le terme «entropie empirique»?

Je connais le travail de Shannon avec l'entropie, mais récemment j'ai travaillé sur des structures de données succinctes dans lesquelles l' entropie empirique est souvent utilisée dans le cadre de l'analyse du stockage.

Shannon a défini l'entropie des informations produites par une source d'informations discrète comme $-\sum_{i=1}^k p_i \log{p_i}$ , où $p_i$ est la probabilité que l'événement $i$ se produise, par exemple un caractère spécifique généré, et il y a $k$ événements possibles.

Comme le souligne MCH dans les commentaires, l' entropie empirique est l'entropie de la distribution empirique de ces événements, et est donc donnée par $-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$ où$n_{i}$est le nombre d'occurrences observées de l'événement$i$et$n$est le nombre total d'événements observés. C'est ce qu'on appellel'entropie empirique d'ordre zéro. La notion d'entropie conditionnellede Shannona uneversion empiriquesimilaired'ordre supérieur.

Shannon n'a pas utilisé le terme entropie empirique, bien qu'il mérite certainement une partie du crédit pour ce concept. Qui a utilisé cette idée en premier et qui a utilisé le nom (très logique) d' entropie empirique pour la décrire?

Je m'intéresse à "l'entropie empirique" comme vous et le premier article que je trouve est celui de Kosaraju comme l'a dit l'utilisateur "Marzio De Biasi" dans son commentaire.

Mais à mon avis, les vraies définitions de "l'entropie empirique" sont faites plus tard en généralisant les premiers concepts:

1. "Grands alphabets et incompressibilité" de Travis Gagie (2008)
2. "Entropie empirique" de Paul MB Vitányi (2011)

$k$

• $H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

où est un processus de Markov d'ordre . Il a également montré que cette définition est équivalente à la précédente. L'étape suivante de Vitányi a été une généralisation à des classes arbitraires de processus (pas seulement les processus de Markov):$Q$$k$

• $H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

où est la classe des processus autorisés et est la complexité de Kolmogorov. Si nous choisissons pour être la classe des processus de Markov d'ordre produisant une séquence devariables aléatoires et en ignorant la complexité de Kolmogorov, cela conduit également à la définition de Gagie (multiplié par ).$\mathcal{X}$$K(X)$
$\mathcal{X}$$k$$|w|$$|w|$