Démontrer que la distribution d'entropie maximale avec une matrice de covariance fixe est gaussienne

13

J'essaie d'obtenir ma tête autour de la preuve suivante que le gaussien a l'entropie maximale.

En quoi l'étape suivie est-elle logique? Une covariance spécifique ne fixe que le deuxième moment. Qu'arrive-t-il aux troisième, quatrième, cinquième moments, etc.?

entrez la description de l'image ici

Tarrare
la source

Réponses:

13

L'étape étoilée est valide car (a) et q ont les mêmes moments zéro et second et (b) log ( p ) est une fonction polynomiale des composantes de x dont les termes ont un total de degrés 0 ou 2 .pqlog(p)x02


Vous devez savoir seulement deux choses sur une distribution normale multivariée avec une moyenne nulle:

  1. est une fonction quadratique de x = ( x 1 , x 2 , , x n ) sans termes linéaires. Plus précisément, il existe des constantes C et p i j pour lesquelles log ( p ( x ) ) = C + n i , j = 1 p i jlog(p)x=(x1,x2,,xn) Cpij

    log(p(x))=C+i,j=1npijxixj.

    CpijΣ

  2. Σ

    Σij=Ep(xixj)=p(x)xixjdx.

Nous pouvons utiliser ces informations pour élaborer une intégrale:

(q(X)-p(X))Journal(p(X))X=(q(X)-p(X))(C+je,j=1npjejXjeXj)X.

Il se décompose en la somme de deux parties:

  • (q(x)p(x))Cdx=C(q(x)dxp(x)dx)=C(11)=0qp

  • (q(x)p(x))i,j=1npijxixjdx=i,j=1npij(q(x)p(x))xixjdx=0q(x)xixjdxp(x)xixjdxΣij

(q(x)p(x))log(p(x))dx=0q(x)log(p(x))dx=p(x)log(p(x))dx.

whuber
la source
1

q(x)p(x)σijxixjp(x)p(x)q(x)

F. Tusell
la source