La quantité

13

La quantité est-elle utile

f(x)2dx
en statistique ou en théorie de l'information?
charles.y.zheng
la source
5
Entropie Renyi
Cardinal
est un pdf, non? f
whuber
Oui, est une densité. f
charles.y.zheng
@cardinal Answer!
@mbq: Ok, je vais essayer de taper quelque chose un peu plus tard qui mérite une réponse. :)
cardinal

Réponses:

24

Soit une fonction de densité de probabilité (respectivement par rapport à Lebesgue ou à une mesure de comptage), la quantitéf est connu comme l'entropiedeRenyid'ordreα0. Il s'agit d'une généralisation de l'entropie de Shannon qui conserve bon nombre des mêmes propriétés. Pour le casα=1, nous interprétonsH1(f)commelim

Hα(f)=1α1log(fαdμ)
α0α=1H1(f), ce qui correspond à l'entropie standard de ShannonH(f).limα1Hα(f)H(f)

Renyi a présenté cela dans son article

A. Renyi, Sur les mesures d'information et d'entropie , Proc. 4e Berkeley Symp. en mathématiques., Stat. et Prob. (1960), p. 547-561.

ce qui vaut la peine d'être lu, non seulement pour les idées mais pour le style d'exposition exemplaire.

α=2α

H2(f)=log(f2dμ)=log(Ef(X))
f

log(x)

H2(f)=log(Ef(X))E(logf(X))=Elogf(X)=H(f)
où le côté droit indique l'entropie de Shannon. Par conséquent, l'entropie de Renyi fournit une limite inférieure pour l'entropie de Shannon et, dans de nombreux cas, est plus facile à calculer.

XXX=X

P(X=X)=i=1P(X=xi,X=xi)=i=1P(X=xi)P(X=xi)=eH2(f).

fΩ={xi:iN}

L'entropie (générale) de Renyi est également apparemment liée à l'énergie libre d'un système en équilibre thermique, bien que je ne sois pas personnellement à ce sujet. Un article (très) récent sur le sujet est

JC Baez, Renyi entropy and free energy , arXiv [quant-ph] 1101.2098 (février 2011).

cardinal
la source
J'utilisais en effet l'entropie Renyi comme substitut de l'entropie Shannon; c'est agréable de voir la confirmation de mon intuition. Merci pour la réponse éclairante.
charles.y.zheng
1
logx
1
Je vois. Plus précisément, j'ai besoin de la propriété selon laquelle la distribution conjointe maximale d'entropie qui satisfait les marginaux donnés est le produit des marginaux (ce que vous obtiendriez de l'indépendance.)
charles.y.zheng