La forme la plus simple de la théorie de l'information CLT est la suivante:
Soit iid avec la moyenne et la variance . Soit la densité de la somme normalisée et la densité gaussienne standard. Alors la théorie de l'information CLT déclare que, si est fini pour certains n , alors D (f_n \ | \ phi) \ à 0 comme n \ to \ infty .0 1 f n ∑ n i = 1 X i
Certes, cette convergence, dans un sens, est "plus forte" que les convergences bien établies dans la littérature, la convergence dans la distribution et la convergence en métrique, grâce à l'inégalité de Pinsker . C'est-à-dire que la convergence dans la divergence KL implique la convergence dans la distribution et la convergence dans la distance .
Je voudrais savoir deux choses.
Qu'est-ce qui est si génial dans le résultat ?
Est - ce juste à cause de la raison indiquée dans le troisième paragraphe , nous disons que la convergence KL-divergence ( c. -à , ) est plus forte?
NB: J'ai posé cette question il y a quelque temps dans math.stackexchange où je n'ai obtenu aucune réponse.
Réponses:
Ce qui est bien avec ce théorème, c'est qu'il suggère des théorèmes limites dans certains contextes où le théorème central limite habituel ne s'applique pas. Par exemple, dans les situations où la distribution d'entropie maximale est une distribution non normale, comme pour les distributions sur le cercle, elle suggère une convergence vers une distribution uniforme.
la source
Après avoir regardé autour de moi, je n'ai trouvé aucun exemple de convergence dans la distribution sans convergence dans l'entropie relative, il est donc difficile de mesurer la «grandeur» de ce résultat.
Pour moi, il semble que ce résultat décrit simplement l'entropie relative des produits de convolution. Il est souvent considéré comme une interprétation alternative et un cadre de preuve du théorème de la limite centrale, et je ne suis pas sûr qu'il ait une implication directe dans la théorie des probabilités (même si c'est le cas dans la théorie de l'information).
À partir de la théorie de l'information et du théorème central limite (page 19).
la source
À propos du deuxième point que vous avez nommé, il est répondu dans votre paragraphe.
la source