Exemple pour un a priori, qui contrairement à Jeffreys, conduit à un postérieur qui n'est pas invariant

17

Je republie une "réponse" à une question que j'avais posée il y a environ deux semaines: Pourquoi le Jeffreys est-il utile avant? C'était vraiment une question (et je n'avais pas non plus le droit de poster des commentaires à l'époque), donc j'espère que c'est OK de le faire:

Dans le lien ci-dessus, il est discuté que la caractéristique intéressante de Jeffreys prior est que, lors de la reparamétrie du modèle, la distribution postérieure résultante donne des probabilités postérieures qui obéissent aux restrictions imposées par la transformation. Par exemple, comme discuté là, lors du passage de la probabilité de succès θ dans l'exemple bêta-Bernoulli des cotes ψ=θ/(1θ) , il devrait être le cas que l'un répond postérieure P(1/3θ2/3X=x)=P(1/2ψ2X=x) .

Je voulais créer un exemple numérique d'invariance de Jeffreys avant de transformer θ en cotes ψ , et, plus intéressant encore, le manque d'autres priors (disons, Haldane, uniformes ou arbitraires).

Maintenant, si le postérieur de la probabilité de succès est Beta (pour tout Beta antérieur, pas seulement Jeffreys), le postérieur de la cote suit une distribution Beta du second type (voir Wikipedia) avec les mêmes paramètres . Ensuite, comme le montre l'exemple numérique ci-dessous, il n'est pas trop surprenant (du moins pour moi) qu'il existe une invariance pour tout choix de Beta préalable (jouer avec alpha0_Uetbeta0_U ), pas seulement Jeffreys, cf. la sortie du programme.

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

Cela m'amène aux questions suivantes:

  1. Dois-je faire une erreur?
  2. Si non, y a-t-il un résultat comme s'il n'y avait pas de manque d'invariance dans les familles conjuguées, ou quelque chose comme ça? (Une inspection rapide m'amène à soupçonner que je ne pourrais pas, par exemple, également produire un manque d'invariance dans le cas normal-normal.)
  3. Connaissez-vous un exemple ( de préférence simples) dans lequel nous ne se manque d'invariance?
Christoph Hanck
la source
1
Vous n'avez pas besoin du code R (que je ne peux pas exécuter avec R version 3.0.2) pour vérifier l'invariance car c'est une propriété de la vraisemblance. On entend par invariance préalable la construction d'une règle de sélection de prior qui ne dépend pas du choix de la paramétrisation du modèle d'échantillonnage.
Xi'an
1
Je suis désolé pour la gêne occasionnée. Il fonctionne avec R 3.1.2 sur mon ordinateur. Si je peux poursuivre, votre commentaire implique-t-il que j'ai mal compris le commentaire de Zen sur la réponse acceptée, point 1., de Stéphane Laurent sur Pourquoi le Jeffreys est-il utile avant? ?
Christoph Hanck

Réponses:

19

Votre calcul semble vérifier que, lorsque nous avons une distribution antérieure particulière les deux procédures suivantesp(θ)

  1. Calculer le p θ D postérieur (pθD(θD)
  2. Transformer le postérieur précité en l'autre paramétrisation pour obtenir pψD(ψD)

et

  1. Transformer l'a priori en l'autre paramétrisation pour obtenir p ψpθ(θ)pψ(ψ)
  2. En utilisant le précédent , calculez le p ψ D postérieur ( ψ pψ(ψ)pψD(ψD)

ψψθ

Cependant, ce n'est pas le point de l'invariance en question. Au lieu de cela, la question est de savoir si, lorsque nous avons une méthode particulière pour décider du prieur, les deux procédures suivantes:

  1. pθ(θ)
  2. pψ(ψ)

et

  1. pψ(ψ)

ψ

θ[0,1]ψ[0,) .

θψψ

Juho Kokkala
la source
1

Il semble que vous vérifiiez que les probabilités induites par les données ne sont pas affectées par la paramétrisation, qui n'a rien à voir avec la précédente.

Si votre façon de choisir les a priori est de, par exemple, "choisir l’uniforme avant", alors ce qui est uniforme sous une paramétrisation (disons Beta, ie Beta (1,1)) n’est pas uniforme sous une autre, disons, BetaPrime (1,1 ) (qui est asymétrique) - c'est BetaPrime (1, -1) est uniforme si une telle chose existe.

Le prieur de Jeffreys est le seul «moyen de choisir les prieurs» invariant sous reparamétrisation. Il est donc moins hypothétique que toute autre façon de choisir les prieurs.

Neil G
la source
Je ne pense pas que le prieur de Jeffreys soit le seul prieur invariant. Lorsqu'elles diffèrent, les mesures de Haar gauche et droite sont invariantes.
Xi'an
@Neil G, je ne suis pas sûr de pouvoir suivre votre raisonnement selon lequel je ne regarde que la probabilité. Lors du branchement (par exemple) alpha1_Jdans pbetaet pgb2ce paramètre est déterminé à la fois par un paramètre avant ( alpha1_J) et les données ( k), de même pour tous les autres paramètres.
Christoph Hanck
1
(+1) Vous espérez que l'élicitation de priors subjectifs serait également invariante à la paramétrisation.
Scortchi - Réintégrer Monica
1
@Zen: oui en effet, j'étais trop précipité: les mesures Haar sont un exemple incorrect. Pourtant, je me demande pourquoi Jeffreys est le seul invariant avant ...
Xi'an
2
@ Xi'an: si ma mémoire ne me manque pas, il y a un théorème dans le livre de Cencov ( amazon.com/… ) qui, dans un certain sens (?), Prouve que Jeffreys prior est le seul gars de la ville avec le invariance nécessaire. Sa preuve m'est inaccessible. Il utilise le langage de la théorie des catégories, des foncteurs, des morphismes et tout ça. en.wikipedia.org/wiki/Category_theory
Zen