La quantité est-elle utile
en statistique ou en théorie de l'information?
probability
entropy
information-theory
charles.y.zheng
la source
la source
Réponses:
Soit une fonction de densité de probabilité (respectivement par rapport à Lebesgue ou à une mesure de comptage), la quantitéf
est connu comme l'entropiedeRenyid'ordreα≥0. Il s'agit d'une généralisation de l'entropie de Shannon qui conserve bon nombre des mêmes propriétés. Pour le casα=1, nous interprétonsH1(f)commelim
Renyi a présenté cela dans son article
ce qui vaut la peine d'être lu, non seulement pour les idées mais pour le style d'exposition exemplaire.
L'entropie (générale) de Renyi est également apparemment liée à l'énergie libre d'un système en équilibre thermique, bien que je ne sois pas personnellement à ce sujet. Un article (très) récent sur le sujet est
la source