Jeffreys prior pour la vraisemblance binomiale

Si j'utilise un Jeffreys avant pour un paramètre de probabilité binomiale cela implique d'utiliser une distribution . $\theta$ $\theta \sim beta(1/2,1/2)$

Si je me transforme en un nouveau cadre de référence $\phi = \theta^2$ alors clairement $\phi$ n'est pas également distribué comme une distribution $beta(1/2,1/2)$ .

Ma question est dans quel sens Jeffreys est-il invariant avant les reparamètres? Je pense que je comprends mal le sujet pour être honnête ...

Meilleur,

Ben

bayesian jeffreys-prior ben18785
la source

L'ancien de Jeffreys est invariant dans le sens où commencer avec un a priori de Jeffreys pour un paramétrage et exécuter le changement de variable approprié est identique à dériver directement l'a priori de Jeffreys pour ce nouveau paramétrage. En fait, un terme équivariant serait plus approprié qu'invariant .

Xi'an

@ ben18785: jetez un œil à stats.stackexchange.com/questions/38962/…

Zen

Voir aussi math.stackexchange.com/questions/210607/… (plus ou moins la même question, je pense, mais sur un site différent).

Nathaniel

Voir aussi stats.stackexchange.com/questions/139001/…

Christoph Hanck

Soit , où est une fonction monotone de et soit l'inverse de , de sorte que . Nous pouvons obtenir la distribution antérieure de Jeffrey de deux manières: $\phi = g(\theta)$ $g$ $\theta$ $h$ $g$ $\theta = h(\phi)$ $p_{J}(\phi)$

Commencez avec le modèle binomial (1) reparameterize le modèle avec pour obtenir et obtenir la distribution précédente de Jeffrey pour ce modèle. $p (y | θ) = (\binom{n}{y}) θ^{y} (1 - θ)^{n - y}$ $\begin{equation} \label{original} p(y | \theta) = \binom{n}{y} \theta^{y} (1-\theta)^{n-y} \end{equation}$ $\phi = g(\theta)$ $p (y | ϕ) = (\binom{n}{y}) h (ϕ)^{y} (1 - h (ϕ))^{n - y}$ $p(y | \phi) = \binom{n}{y} h(\phi)^{y} (1-h(\phi))^{n-y}$ $p_{J}(\phi)$
Obtenir la distribution a priori de Jeffrey partir du modèle binomial original 1 et appliquer la formule de changement de variables pour obtenir la densité a priori induite sur $p_{J}(\theta)$ $\phi$ $p_{J} (ϕ) = p_{J} (h (ϕ)) | \frac{d h}{d ϕ} | .$ $p_{J}(\phi) = p_{J}(h(\phi)) |\frac{dh}{d\phi}|.$

Être invariant aux reparamètres signifie que les densités dérivées dans les deux sens doivent être les mêmes. Le prieur de Jeffrey a cette caractéristique [Référence: Un premier cours de méthodes statistiques bayésiennes par P. Hoff .] $p_{J}(\phi)$

Pour répondre à votre commentaire. Pour obtenir la distribution antérieure de Jeffrey partir de la vraisemblance du modèle binomial nous devons calculer les informations de Fisher en prenant le logarithme de vraisemblance et calculer la dérivée seconde de et les informations Fisher sont $p_{J}(\theta)$

p (y | θ) = (\binom{n}{y}) θ^{y} (1 - θ)^{n - y}

$p(y | \theta) = \binom{n}{y} \theta^{y} (1-\theta)^{n-y}$

l

$l$

l

$l$

\begin{aligned} l := \log (p (y | θ)) & \propto y \log (θ) + (n - y) \log (1 - θ) \\ \frac{\partial l}{\partial θ} & = \frac{y}{θ} - \frac{n - y}{1 - θ} \\ \frac{\partial^{2} l}{\partial θ^{2}} & = - \frac{y}{θ^{2}} - \frac{n - y}{(1 - θ)^{2}} \end{aligned}

$\begin{align*} l := \log(p(y | \theta)) &\propto y \log(\theta) + (n-y) \log(1-\theta) \\ \frac{\partial l }{\partial \theta} &= \frac{y}{\theta} - \frac{n-y}{1-\theta} \\ \frac{\partial^{2} l }{\partial \theta^{2}} &= -\frac{y}{\theta^{2}} - \frac{n-y}{ (1-\theta)^{2} } \end{align*}$

\begin{aligned} I (θ) & = - E (\frac{\partial^{2} l}{\partial θ^{2}} | θ) \\ = \frac{n θ}{θ^{2}} + \frac{n - n θ}{(1 - θ)^{2}} \\ = \frac{n}{θ (1 - θ)} \\ \propto θ^{- 1} (1 - θ)^{- 1} . \end{aligned}

$\begin{align*} I(\theta) &= -E(\frac{\partial^{2} l }{\partial \theta^{2}} | \theta) \\ &= \frac{n\theta}{\theta^{2}} + \frac{n - n \theta}{(1-\theta)^{2}} \\ &= \frac{n}{\theta ( 1- \theta)} \\ &\propto \theta^{-1} (1-\theta)^{-1}. \end{align*}$ Le précédent de Jeffrey pour ce modèle est qui est .

\begin{aligned} p_{J} (θ) & = \sqrt{I (θ)} \\ \propto θ^{- 1 / 2} (1 - θ)^{- 1 / 2} \end{aligned}

$\begin{align*} p_{J}(\theta) &= \sqrt{I(\theta)} \\ &\propto \theta^{-1/2} (1-\theta)^{-1/2} \end{align*}$

beta (1 / 2, 1 / 2)

$\texttt{beta}(1/2, 1/2)$

Marko Lalović
la source

Merci pour votre réponse. J'ai peur d'être un peu lent cependant. Dans quel sens peut-on obtenir un prieur d'une vraisemblance? Ce sont deux choses distinctes, et cette dernière n'implique pas la première ...

ben18785

J'ai répondu ci-dessus en obtenant un antérieur de Jeffrey de la vraisemblance pour le modèle binomial.

p_{J} (θ)

$p_{J}(\theta)$

Marko Lalović

Jeffreys prior pour la vraisemblance binomiale

Réponses: