Pourquoi le Jeffreys avant est-il utile?

Je comprends que le prior de Jeffreys est invariant sous re-paramétrage. Cependant, ce que je ne comprends pas, c'est pourquoi cette propriété est souhaitée.

Pourquoi ne voudriez-vous pas que l’avant change avec un changement de variables?

Laissez-moi compléter la réponse de Zen. Je n'aime pas beaucoup la notion de "représentation de l'ignorance". L'important n'est pas le précédent de Jeffreys mais le postérieur de Jeffreys . Ce postérieur vise à refléter au mieux les informations sur les paramètres apportés par les données. La propriété d'invariance est naturellement requise pour les deux points suivants. Considérons par exemple le modèle binomial avec le paramètre de proportion inconnu et le paramètre de cotes .ψ = $\theta$$\psi=\frac{\theta}{1-\theta}$

1. La Jeffreys posterior sur reflète au mieux les informations sur la apportées par les données. Il existe une correspondance biunivoque entre et . Ensuite, la transformation de Jeffreys postérieur sur en postérieure sur (via la formule habituelle de changement de variables) devrait donner une distribution reflétant au mieux les informations sur . Ainsi, cette distribution devrait être la distribution postérieure de Jeffreys sur . C'est la propriété d'invariance.& thetav & thetav ψ & thetav ψ ψ $\theta$$\theta$$\theta$$\psi$$\theta$$\psi$$\psi$$\psi$

2. Un point important pour tirer des conclusions d’une analyse statistique est la communication scientifique . Imaginez que vous donniez le Jeffreys postérieur sur à un collègue scientifique. Mais il / elle s'intéresse à plutôt qu'à . Alors ce n’est pas un problème avec la propriété d’invariance: il lui suffit d’appliquer la formule de changement de variables.ψ $\theta$$\psi$$\theta$

Supposons que vous et un ami analysez le même ensemble de données à l'aide d'un modèle normal. Vous adoptez le paramétrage habituel du modèle normal en utilisant la moyenne et la variance comme paramètres, mais votre ami préfère paramétrer le modèle normal avec le coefficient de variation et la précision comme paramètres (ce qui est parfaitement "légal"). Si vous utilisez tous les deux les a priori de Jeffreys, votre distribution postérieure sera la distribution postérieure de votre ami correctement transformée de son paramétrage en vôtre. C'est en ce sens que le prieur de Jeffreys est "invariant"

(D'ailleurs, "invariant" est un mot horrible; ce que nous voulons vraiment dire, c'est qu'il est "covariant" dans le même sens du calcul tenseur / géométrie différentielle, mais bien sûr, ce terme a déjà un sens probabiliste bien établi, donc nous ne pouvons pas l'utiliser.)

Pourquoi cette propriété de consistance est-elle souhaitée? Parce que, si le prédécesseur de Jeffreys a une chance de représenter l'ignorance sur la valeur des paramètres dans un sens absolu (ce n'est pas le cas, mais pour d'autres raisons non liées à "l'invariance"), et non l'ignorance relative à un paramétrage particulier du modèle, il doit être le cas que, quels que soient les paramétrages avec lesquels nous choisissons arbitrairement de commencer, nos postérieurs doivent "correspondre" après la transformation.

Jeffreys a lui-même violé cette propriété "d'invariance" régulièrement lors de la construction de ses priors.

Ce document a des discussions intéressantes à ce sujet et sur des sujets connexes.

Pour ajouter quelques citations à l'excellente réponse de Zen: Selon Jaynes, le Jeffreys avant est un exemple du principe des groupes de transformation, qui résulte du principe de l'indifférence:

L'essence de ce principe est juste: (1) nous reconnaissons qu'une assignation de probabilité est un moyen de décrire un certain état de connaissance. (2) Si la preuve disponible ne nous donne aucune raison de considérer la proposition plus ou moins probable que , la seule façon honnête de décrire cet état de la connaissance consiste à leur attribuer des probabilités égales: . Toute autre procédure serait incohérente en ce sens que, par un simple échange des étiquettes nous pourrions alors générer un nouveau problème dans lequel notre état des connaissances est le même mais dans lequel nous attribuons des probabilités différentes…A 2 p 1 = p 2 ( 1 , 2 $A_1$$A_2$$p_1=p_2$$(1, 2)$

Maintenant, pour répondre à votre question: "Pourquoi ne voudriez-vous pas que l’antérieur change avant un changement de variables?"

Selon Jaynes, la paramétrisation est un autre type d'étiquette arbitraire, et il ne faut pas pouvoir “en échangeant simplement les étiquettes pour générer un nouveau problème dans lequel notre état des connaissances est le même mais dans lequel nous attribuons des probabilités différentes. ”

Bien qu’il soit souvent intéressant, ne fût-ce que pour établir une référence préalable sur laquelle jauger d’autres a priori, l’a priori de Jeffreys peut s’avérer totalement inutile, comme par exemple lorsqu’il aboutit à des postérieurs impropres: c’est le cas par exemple du simple mélange gaussien à deux composants avec tous les paramètres inconnus. Dans ce cas, le postérieur du précédent de Jeffreys n'existe pas, quel que soit le nombre d'observations disponibles. (La preuve est disponible dans un article récent que j'ai écrit avec Clara Grazian.)

Jeffreys avant est inutile . Ceci est dû au fait:

1. Il spécifie simplement la forme de la distribution; il ne vous dit pas quels devraient être ses paramètres.
2. Vous n'êtes jamais complètement ignorant - il y a toujours quelque chose dans le paramètre que vous connaissez (par exemple, souvent, cela ne peut pas être l'infini). Utilisez-le pour votre inférence en définissant une distribution antérieure. Ne vous mentez pas en disant que vous ne savez rien.
3. "Invariance en cours de transformation" n'est pas une propriété souhaitable. Votre probabilité change en cours de transformation (par exemple chez le jacobien). Cela ne crée pas de "nouveaux problèmes", avance Jaynes. Pourquoi le prieur ne devrait-il pas être traité de la même manière?

Juste ne l'utilisez pas.