Sur l'entropie d'une somme

12

Je cherche une borne sur l'entropie de la somme de deux variables aléatoires discrètes indépendantes X et Y . Naturellement, H ( X + Y ) H ( X ) + H ( Y ) ( ) Cependant, appliqué à la somme de n variables aléatoires Bernoulli indépendantes Z 1 , , Z n , cela donne H ( Z 1 +H(X+Y)XY

H(X+Y)H(X)+H(Y)      ()
nZ1,,Zn En d'autres termes, la borne croît linéairement avec n lorsqu'elle est appliquée de façon répétée. Cependant, Z 1 + Z n est supporté sur un ensemble de taille n , donc son entropie est au plus log n . En fait, par le théorème delimite centrale, je suppose que H ( Z 1 + + Z n ) ( 1 / deux ) log
H(Z1+Z2++Zn)nH(Z1)
nZ1+Znnlogn car il est essentiellement supporté sur un ensemble de tailleH(Z1++Zn)(1/2)logn .n

En bref, la borne dépasse largement dans cette situation. En parcourant ce billet de blog , je suppose que toutes sortes de limites sur H ( X + Y ) sont possibles; Existe-t-il une limite qui donne les bonnes asymptotiques (ou, du moins, des asymptotiques plus raisonnables) lorsqu'elle est appliquée à plusieurs reprises à la somme des variables aléatoires de Bernoulli?()H(X+Y)

robinson
la source
2
Je ne sais pas vraiment ce que vous demandez. Si vous voulez une borne supérieure sur H (X + Y) en termes de H (X) et H (Y) qui est applicable à deux variables aléatoires discrètes indépendantes X et Y, alors H (X + Y) ≤H (X ) + H (Y) est clairement le meilleur que vous puissiez obtenir; considérons le cas où les sommes x + y sont toutes distinctes lorsque x s'étend sur le support de X et y s'étend sur le support de Y. Si vous appliquez ce général lié à un cas très spécial, alors il est naturel que vous obteniez un très reliure lâche.
Tsuyoshi Ito du
1
H(X+Y)H(X)+H(Y)n
1
H(X+Y)3H(XY)H(X)H(Y)
2
Cela signifie que ce que vous recherchez n'est pas une limite supérieure sur H (X + Y) en termes de H (X) et H (Y) . Veuillez modifier la question.
Tsuyoshi Ito du
1
Zin

Réponses:

19

XA2H(X)YB2H(Y)

|A+B||A||B||A+B||A||B|H(X+Y)H(X)+H(Y)

|A+B||A||B|AB|A+B|(G,+)|A+B|=O(|A|+|B|)A,BG

A[a..b]B[0..c](1/2)lognc=1a=0b=kk=1,...,n1akkbk+k|A+B||A|+c

Boaz Barak
la source
5

nZ1,Z2,...,ZnpZ1+Z2+...+Znnpnp12logn+O(logn)

VSJ
la source
0

Vous pourriez peut-être utiliser l'équation:

H(Z1+Z2++Zn)=H(Z1)+H(Z2)++H(Zn)H(Z1|Z1+Z2++Zn)H(Z2|Z2+Z3++Zn)H(Zn1|Zn1+Zn)

Cela ressemblerait à un terme que vous avez mentionné dans les commentaires, malheureusement je ne connais pas de résultats sur la cardinalité des termes négatifs ou des limites perspicaces sur eux.

Meule
la source