Quelqu'un peut-il prouver le lien suivant entre la métrique d'information de Fisher et l'entropie relative (ou divergence KL) d'une manière purement mathématique rigoureuse?
g i , j = ∫ ∂ i ( log p ( x ; a ) ) ∂ j ( log p ( x ; a ) ) p ( x ; a ) d x g i , j
J'ai trouvé ce qui précède dans le joli blog de John Baez où Vasileios Anagnostopoulos en parle dans les commentaires.
Réponses:
En 1946, le géophysicien et statisticien bayésien Harold Jeffreys a introduit ce que nous appelons aujourd'hui la divergence Kullback-Leibler, et a découvert que pour deux distributions qui sont "infiniment proches" (espérons que les gars de Math SE ne voient pas cela ;-) nous pouvons écrire leur divergence Kullback-Leibler comme une forme quadratique dont les coefficients sont donnés par les éléments de la matrice d'information de Fisher. Il a interprété cette forme quadratique comme l'élément de longueur d'une variété riemannienne, les informations de Fisher jouant le rôle de la métrique riemannienne. De cette géométrisation du modèle statistique, il a dérivé son a priori de Jeffreys comme la mesure naturellement induite par la métrique riemannienne, et cette mesure peut être interprétée comme une distribution intrinsèquement uniforme sur la variété, bien que, en général, ce ne soit pas une mesure finie.
Pour rédiger une preuve rigoureuse, vous devrez repérer toutes les conditions de régularité et prendre soin de l'ordre des termes d'erreur dans les extensions Taylor. Voici un bref aperçu de l'argument.
Voici le papier d'origine:
Jeffreys, H. (1946). Une forme invariante pour la probabilité a priori dans les problèmes d'estimation. Proc. Royal Soc. de Londres, série A, 186, 453–461.
la source
Preuve de divergence KL habituelle (non symétrique)
La réponse de Zen utilise la divergence KL symétrisée, mais le résultat vaut également pour la forme habituelle, car il devient symétrique pour des distributions infiniment proches.
la source
You can find a similar relationship (for a one-dimensional parameter) in equation (3) of the following paper
The authors refer to
for a proof of this result.
la source