La distribution d'entropie maximale est-elle cohérente avec les distributions marginales données, la distribution du produit des marginaux?

9

Il existe généralement de nombreuses distributions conjointes cohérentes avec un ensemble connu de distributions marginales .P(X1=x1,X2=x2,...,Xn=xn)fi(xi)=P(Xi=xi)

De ces distributions conjointes, le produit est-il formé en prenant le produit des marginaux celui ayant l'entropie la plus élevée?ifi(xi)

Je crois certainement que c'est vrai, mais j'aimerais vraiment voir une preuve.

Je suis plus intéressé par le cas où toutes les variables sont discrètes, mais je serais également intéressé par des commentaires sur l'entropie par rapport aux mesures de produit dans le cas continu.

wnoise
la source

Réponses:

7

Une façon consiste à utiliser les propriétés de la divergence Kullback-Leibler .

Soit la famille de distributions avec les marges données, et soit la distribution du produit (et évidemment ).PQQP

Maintenant, pour tout , l'entropie croisée est:PP

H(P,Q)=EP[logq(X)]=EP[logiqi(X)]=iEP[logqi(X)]=iH(Pi,Qi)

c'est-à-dire la somme de l'entropie croisée des marges. Les marges étant toutes fixes, ce terme lui-même doit être fixe.

Maintenant, nous pouvons écrire la divergence KL comme suit:

DKL(PQ)=H(P,Q)H(P)

et donc:

argminPP DKL(PQ)=argmaxPP H(P)

c'est-à-dire que la distribution qui maximise l'entropie est celle qui minimise la divergence KL avec , qui, par les propriétés de la divergence KL , nous savons qu'elle est elle-même.PQQ

Simon Byrne
la source