Pourquoi un avant sur la variance est-il considéré comme faible?

Contexte

L'un des faibles a priori sur variance les plus couramment utilisés est le gamma inverse avec les paramètres (Gelman 2006) . $\alpha =0.001, \beta=0.001$

Cependant, cette distribution a un IC à 90% d'environ . $[3\times10^{19},\infty]$

library(pscl)
sapply(c(0.05, 0.95), function(x) qigamma(x, 0.001, 0.001))

[1] 3.362941e+19          Inf

À partir de cela, j'interprète que l' donne une faible probabilité que la variance soit très élevée, et la très faible probabilité que la variance soit inférieure à 1 . $IG(0.001, 0.001)$ $P(\sigma<1|\alpha=0.001, \beta=0.001)=0.006$

pigamma(1, 0.001, 0.001)
[1] 0.006312353

Question

Suis-je en train de manquer quelque chose ou s'agit-il en fait d'une information préalable?

mise à jour pour clarifier, la raison pour laquelle je considérais cette information est parce qu'elle prétend très fortement que la variance est énorme et bien au-delà de l'échelle de presque toutes les variances jamais mesurées.

suivi Une méta-analyse d'un grand nombre d'estimations de la variance fournirait-elle un préalable plus raisonnable?

Référence

Gelman 2006. Distributions antérieures des paramètres de variance dans les modèles hiérarchiques . Analyse bayésienne 1 (3): 515–533

bayesian multilevel-analysis prior David LeBauer
la source

Un «vrai» a priori non informatif n'est pas une distribution. Il n'y a donc pas de probabilité antérieure telle que P (sigma <1).

Stéphane Laurent

Réponses:

En utilisant la distribution gamma inverse, nous obtenons:

p (σ^{2} | α, β) \propto (σ^{2})^{- α - 1} \exp (- \frac{β}{σ^{2}})

$p(\sigma^2|\alpha,\beta) \propto (\sigma^2)^{-\alpha-1} \exp(-\frac{\beta}{\sigma^2})$

Vous pouvez facilement voir que si et alors le gamma inverse approchera le Jeffreys avant. Cette distribution est appelée "non informative" car elle est une approximation correcte de la priorité Jeffreys $\beta \rightarrow 0$ $\alpha \rightarrow 0$

p (σ^{2}) \propto \frac{1}{σ^{2}}

$p(\sigma^2) \propto \frac{1}{\sigma^2}$

Ce qui n'est pas informatif pour les paramètres d'échelle voir page 18 ici par exemple , car cet a priori est le seul qui reste invariant sous un changement d'échelle (notez que l'approximation n'est pas invariante). Cela a une intégrale indéfinie de qui montre qu'elle est incorrecte si la plage de comprend ou . Mais ces cas ne sont que des problèmes en mathématiques - pas dans le monde réel. N'observez jamais réellement une valeur infinie de variance, et si la variance observée est nulle, vous avez des données parfaites!. Car vous pouvez définir une limite inférieure égale à et une limite supérieure égale $\log(\sigma^2)$ $\sigma^2$ $0$ $\infty$ $L>0$ , et votre distribution est correcte. $U<\infty$

Bien qu'il puisse sembler étrange que ce soit "non informatif" en ce qu'il préfère une petite variance aux grandes, mais ce n'est qu'à une seule échelle. Vous pouvez montrer que a une distribution uniforme incorrecte. Donc, cet avant ne favorise aucune échelle par rapport à toute autre $\log(\sigma^2)$

Bien que cela ne soit pas directement lié à votre question, je suggérerais une "meilleure" distribution non informative en choisissant les limites supérieure et inférieure et dans le Jeffreys avant plutôt que et . Habituellement, les limites peuvent être définies assez facilement en réfléchissant à ce que signifie réellement dans le monde réel. Si c'était l'erreur dans une sorte de quantité physique - ne peut pas être plus petit que la taille d'un atome, ou la plus petite taille que vous puissiez observer dans votre expérience. Plus $L$ $U$ $\alpha$ $\beta$ $\sigma^2$ $L$ $U$ ne pouvait pas être plus grand que la terre (ou le soleil si vous vouliez être vraiment conservateur). De cette façon, vous conservez vos propriétés d'invariance, et c'est plus facile avant d'échantillonner à partir de: prendre , puis la valeur simulée as . $q_{(b)} \sim \mathrm{Uniform}(\log(L),\log(U))$ $\sigma^{2}_{(b)}=\exp(q_{(b)})$

probabilitéislogique
la source

+1 pour non seulement répondre à la question, mais aussi pour fournir des conseils utiles.

whuber

+1 - uniforme pour

sur une "grande" plage est souvent un bon choix. Pour les composantes de variance d'un modèle hiérarchique, je pense que vous pouvez toujours entrer dans une quasi-inconvenance du postérieur si la plage est trop grande puisque vous approchez de nouveau de Jeffrey. Mais bien sûr, c'est une solution plus simple - ne choisissez pas d'énormes intervalles :)

l o g (σ)

$log(\sigma)$

JMS

@JMS - dans un cadre héréditaire, les données ne "écrasent" pas la singularité à 0 (c'est-à-dire qu'une variance de niveau 2 pourrait être nulle). Donc, le prieur pour les petites valeurs compte.

est un bon niveau 2 et une variance plus élevée a priori (je pense qu'il a aussi été appelé un "half Cauchy", il est similaire à

-distribution). Il a des «queues épaisses» et est «robuste aux données» dans la mesure où, en cas de conflit préalable et de probabilité, la probabilité l'emporte. Aussi

est le jeffreys avant.

B e t a_{2} (1, 1)

$Beta_{2}(1,1)$

F_{1, 1}

$F_{1,1}$

B e t a_{2} (0, 0)

$Beta_{2}(0,0)$

probabilitéislogic

@probabilityislogic merci pour l'explication. Si je comprends bien, le gamma est sympa théoriquement parce que sa rage est

et parce qu'il est conjugué à la normale, mais en application ces caractéristiques ne sont généralement pas requises. Mais quelle est la différence entre l'échantillonnage de

[0, \infty]

$[0,\infty]$

σ \sim e x p (U (l o g (L), l o g (U))

$\sigma\sim exp(U(log(L),log(U))$

σ \sim U (L, U)

$\sigma\sim U(L,U)$

David LeBauer

@probabilityislogic Vous ne connaissez pas votre notation, faites-vous référence à la version bêta prime? Si c'est le cas, c'est un choix intéressant. Pas la moitié de Cauchy cependant; c'est juste le Cauchy restreint à

. Mais le premier bêta avec

a été appelé le "quasi Cauchy" IIRC

(0, \infty)

$(0, \infty)$

α = 1, β = 1 / 2

$\alpha=1, \beta=1/2$

JMS

C'est assez proche de l'appartement. Sa médiane est de 1,9 E298, presque le plus grand numéro un peut représenter en arithmétique flottante double précision. Comme vous le faites remarquer, la probabilité qu'il attribue à tout intervalle qui n'est pas vraiment énorme est vraiment faible. Difficile d'être moins informatif que ça!

whuber
la source

Merci pour votre explication. J'ai rencontré des problèmes de convergence et j'ai été surpris de constater que tant de variables avec lesquelles je travaille ont des moyennes <1000 (c'est-à-dire si quelque chose est> 1000 g, elles sont mesurées en kg), et les variances sont à peu près du même ordre ordre de grandeur. Donc, je me rends compte que j'ai besoin de plus de priors qui intègrent ces informations même si je n'ai pas vraiment une bonne connaissance préalable de sa valeur ou comment elle est partitionnée.

David LeBauer

Selon le modèle, votre postérieur pourrait être très proche d'une mauvaise utilisation de cet avant

JMS