Différences entre la distance de Bhattacharyya et la divergence KL

33

Je cherche une explication intuitive pour les questions suivantes:

En statistique et en théorie de l’information, quelle est la différence entre la distance de Bhattacharyya et la divergence de KL, en tant que mesures de la différence entre deux distributions de probabilité discrètes?

Ont-ils absolument aucune relation et mesurent-ils la distance entre deux distributions de probabilité de manière totalement différente?

JewelSue
la source

Réponses:

36

Le coefficient de Bhattacharyya est défini par

DB(p,q)=p(x)q(x)dx
et peut être transformé en une distancedH(p,q) commequi s'appelle ladistance de Hellinger. Une connexion entre cettedistance de Hellingeret ladivergence de Kullback-Leiblerest
dH(p,q)={1DB(p,q)}1/2
KL(pq)2H2(p,q)=2{1-B(p,q)}.

Cependant, ce n’est pas la question: si la distance de Bhattacharyya est définie comme étant

B(p,q)=def-bûcheB(p,q),
alors
dB(p,q)=logDB(p,q)=logp(x)q(x)dx=deflogh(x)dx=logh(x)p(x)p(x)dxlog{h(x)p(x)}p(x)dx=12log{h2(x)p2(x)}p(x)dx=12log{q(x)p(x)}p(x)dx=12dKL(pq)
D'où l'inégalité entre les deux distances sont
dKL(pq)2dB(p,q).
On peut alors se demander si cette inégalité découle de la première. Il se trouve que c'est l'inverse: depuis
log(x)1x0x1,
entrez la description de l'image ici

nous avons la commande complète

dKL(pq)2dB(p,q)2dH(p,q)2.
Xi'an
la source
2
Brillant! Cette explication devrait être celle que je cherche avec impatience. Une dernière question: dans quel cas (ou quels types de P et Q) l’inégalité devient-elle égalité?
JewelSue
1
Étant donné que la fonction est strictement convexe, je suppose que le seul cas d’égalité est lorsque le rapport p ( x ) / q ( x ) est constant dans x . -bûche()p(x)/q(x)x
Xi'an
5
Et le seul cas où est constant dans x est quand p = q . p(x)/q(x)xp=q
Xi'an
8

Je ne connais aucune relation explicite entre les deux, mais j'ai décidé de les examiner rapidement pour voir ce que je pourrais trouver. Donc, ce n’est pas vraiment une réponse, mais plutôt un point d’intérêt.

Pour plus de simplicité, travaillons sur des distributions discrètes. On peut écrire la distance BC comme

dBC(p,q)=lnx(p(x)q(x))12

et la divergence KL comme

dKL(p,q)=xp(x)lnp(x)q(x)

BCKL

dKL(p,q)=lnx(q(x)p(x))p(x)

pn

dKL(p,q)=lnnln(xq(x))1ndBC(p,q)=ln1nlnxq(x)

pq

Andy Jones
la source