Y a-t-il une distance de probabilité qui préserve toutes les propriétés d'une métrique?

13

En étudiant la distance de Kullback – Leibler, il y a deux choses que nous apprenons très rapidement, c'est qu'elle ne respecte ni l'inégalité du triangle ni la symétrie, propriétés requises d'une métrique.

Ma question est de savoir s'il existe une métrique de fonctions de densité de probabilité qui remplit toutes les contraintes d'une métrique .

distributions distance metric Jorge Leitao
la source
Se concentrer sur les densités de probabilité, c'est se concentrer sur le "mauvais" objet. En ce qui concerne les métriques, il y a celles "classiques", par exemple Lévy (et la métrique Ky Fan associée sur des variables aléatoires), Wasserstein ainsi que celles plus proches dans l'esprit de KL, par exemple, la divergence Jensen-Shannon . Bien que la plupart aient été négligés historiquement, notez que dans l'article original de KL , la divergence de KL était en effet symétrique (bien qu'elle ne soit toujours pas métrique).
cardinal
1
@cardinal, eh bien, je ne suis pas tellement dans le domaine, pouvez-vous s'il vous plaît suggérer le "bon" objet?
Jorge Leitao
2
JC: Désolé, la boîte de commentaires est devenue trop petite pour tout ce que j'essayais de faire. J'aurais dû élaborer. La fonction de distribution cumulative s'avère être un objet d'étude plus général et naturel. :-)
Cardinal
@cardinal pourquoi? ;)
Jorge Leitao

Réponses:

19

L2

John Jiang
la source
2
C'est un bon papier - en particulier la figure 1. J'en garde une copie pour référence future.
Pat
1

Il y a quelques modifications à la divergence KL qui lui font acquérir certaines des propriétés métriques (mais pas toutes).

Par exemple, la divergence de Jeffrey modifie la divergence KL pour la rendre symétrique.

Il existe des cas particuliers, voir [1]: "Malheureusement, les mesures traditionnelles basées sur la divergence Kullback-Leibler (KL) et la distance de Bhattacharyya ne satisfont pas tous les axiomes métriques nécessaires à de nombreux algorithmes. Dans cet article, nous proposons une modification pour le KL la divergence et la distance de Bhattacharyya, pour les densités gaussiennes multivariées, qui transforment les deux mesures en métriques de distance. "

[1] K. Abou-Moustafa et F. Ferrie, «Une note sur les propriétés métriques pour certaines mesures de divergence: le cas gaussien», JMLR: Actes d'atelier et de conférence 25: 1–15, 2012.

user29652
la source