Je cherche une borne sur l'entropie de la somme de deux variables aléatoires discrètes indépendantes X et Y . Naturellement, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) Cependant, appliqué à la somme de n variables aléatoires Bernoulli indépendantes Z 1 , … , Z n , cela donne H ( Z 1 +
En d'autres termes, la borne croît linéairement avec n lorsqu'elle est appliquée de façon répétée. Cependant, Z 1 + ⋯ Z n est supporté sur un ensemble de taille n , donc son entropie est au plus log n . En fait, par le théorème delimite centrale, je suppose que H ( Z 1 + ⋯ + Z n ) ≈ ( 1 / deux ) log
car il est essentiellement supporté sur un ensemble de taille √ .
En bref, la borne dépasse largement dans cette situation. En parcourant ce billet de blog , je suppose que toutes sortes de limites sur H ( X + Y ) sont possibles; Existe-t-il une limite qui donne les bonnes asymptotiques (ou, du moins, des asymptotiques plus raisonnables) lorsqu'elle est appliquée à plusieurs reprises à la somme des variables aléatoires de Bernoulli?
Réponses:
la source
la source
Vous pourriez peut-être utiliser l'équation:
Cela ressemblerait à un terme que vous avez mentionné dans les commentaires, malheureusement je ne connais pas de résultats sur la cardinalité des termes négatifs ou des limites perspicaces sur eux.
la source