Quelqu'un peut-il expliquer les prieurs conjugués en termes les plus simples possibles?

23

Cela fait un moment que j'essaie de comprendre l'idée des prieurs conjugués dans les statistiques bayésiennes, mais je ne comprends tout simplement pas. Quelqu'un peut-il expliquer l'idée dans les termes les plus simples possibles, en utilisant peut-être le «prior gaussien» comme exemple?

Jenna Maiz
la source

Réponses:

23

Un a priori pour un paramètre aura presque toujours une forme fonctionnelle spécifique (écrite en termes de densité, généralement). Disons que nous nous limitons à une famille particulière de distributions, auquel cas le choix de notre a priori se réduit au choix des paramètres de cette famille.

Par exemple, considérons un modèle normal YiiidN(μ,σ2) . Pour simplifier, prenons aussi σ2 comme connu. Cette partie du modèle - le modèle des données - détermine la fonction de vraisemblance.

Pour compléter notre modèle bayésien, nous avons besoin ici d'un a priori pour μ .

Comme mentionné ci-dessus, nous pouvons généralement spécifier une famille de distribution pour notre a priori pour μ , puis nous n'avons qu'à choisir les paramètres de cette distribution (par exemple, souvent les informations antérieures peuvent être assez vagues - comme à peu près où nous voulons que la probabilité se concentre - plutôt que de forme fonctionnelle très spécifique, et nous pouvons avoir assez de liberté pour modéliser ce que nous voulons en choisissant les paramètres - disons pour correspondre à une moyenne et une variance antérieures).

S'il s'avère que le postérieur de μ appartient à la même famille que le précédent, alors ce prior est dit «conjugué».

(Ce qui fait qu'il est conjugué, c'est la façon dont il se combine avec la probabilité)

Donc dans ce cas, prenons un a priori gaussien pour μ (disons μN(θ,τ2) ). Si nous faisons cela, nous voyons que le postérieur de μ est également gaussien. Par conséquent, le prieur gaussien était un prieur conjugué pour notre modèle ci-dessus.

C'est tout ce qu'il y a vraiment - si le postérieur est de la même famille que le prieur, c'est un prieur conjugué.

Dans les cas simples, vous pouvez identifier un conjugué avant en inspectant la probabilité. Par exemple, considérons une vraisemblance binomiale; en laissant tomber les constantes, cela ressemble à une densité bêta en ; et en raison de la façon dont les puissances de p et ( 1 - p ) se combinent, il se multipliera par une bêta avant de donner également un produit des puissances de p et ( 1 - p ) ... afin que nous puissions voir immédiatement de la probabilité que la bêta sera un conjugué a priori pour p dans la vraisemblance binomiale.pp(1p)p(1p)p

Dans le cas gaussien, il est plus facile de voir que cela se produira en considérant les log-densités et la log-vraisemblance; la log-vraisemblance sera quadratique en et la somme de deux quadratiques est quadratique, donc une log-vraisemblance quadratique antérieure + quadratique log donne une quadratique postérieure (chacun des coefficients du terme d'ordre le plus élevé sera bien sûr négatif).μ

Glen_b -Reinstate Monica
la source
9

Si votre modèle appartient à une famille exponentielle , c'est-à-dire si la densité de la distribution est de la forme

f(x|θ)=h(x)exp{T(θ)S(x)ψ(θ)}xXθΘ
par rapport à unemesure dominante donnée(Lebesgue, comptage, & tc.), oùts désigne un produit scalaire sur Rd et
T:XRdS:ΘRd
sont des fonctions mesurables, les a priori conjugués surθ sont définis par des densités de la forme
π(θ|ξ,λ)=C(ξ,λ)exp{T(θ)ξλψ(θ)}
[par rapport à une mesure dominante choisie arbitrairement d ν sur Θ ] avec C ( ξ λ) - 1 = Θ exp { T ( θ ) ξ - dνΘ
C(ξ,λ)1=Θexp{T(θ)ξλψ(θ)}dν<
etλΛR+ ,ξΞλT(X)

Le choix de la mesure dominante est déterminant pour la famille des prieurs. Si, par exemple, on fait face à une probabilité moyenne normale sur μ comme dans la réponse de Glen_b , le choix de la mesure de Lebesgue dμ comme mesure dominante conduit à la conjugaison des a priori normaux. Si au contraire on choisit (1+μ2)2dμ comme mesure dominante, les a priori conjugués sont dans la famille des distributions de densités

exp{α(μμ0)2}α>0,  μ0R
par rapport à cette mesure dominante, et ne sont donc plus des a priori normaux. Cette difficulté est essentiellement la même que celle de choisir une paramétrisation particulière de la vraisemblance et d'opter pour la mesure de Lebesgue pour cette paramétrisation. Face à une fonction de vraisemblance, il n'y a pas de mesure dominante inhérente (ou intrinsèque ou de référence) sur l'espace des paramètres.

En dehors de ce cadre familial exponentiel, il n'y a pas de famille de distributions non triviale avec un support fixe qui permet des a priori conjugués. C'est une conséquence du lemme Darmois-Pitman-Koopman .

Xi'an
la source
11
"en termes les plus simples possibles?" Une explication qui ne suppose pas une connaissance préalable des mesures serait peut-être plus utile au PO.
3
hélas, je crains que les prieurs conjugués soient dénués de sens sans arrière-plan de mesure (même si c'est le secret le mieux gardé de l'Univers).
Xi'an
6
À mon avis, les "termes les plus simples possibles" sont susceptibles d'interprétation, et une explication qui utilise des mathématiques avancées telles que la théorie de la mesure pourrait toujours être "simple" dans un certain sens, peut-être même "plus simple" qu'une explication qui évite de tels mécanismes. Dans tous les cas, une telle explication peut être très éclairante pour quelqu'un qui a les antécédents nécessaires pour la comprendre, et il est inoffensif d'inclure une réponse comme celle-ci dans une liste de différentes façons d'expliquer un sujet. Nous écrivons des réponses non seulement pour OP mais pour tous les futurs lecteurs.
littleO
1
@LBogaardt Votre critique aurait plus de poids si vous pouviez créer un lien vers une ou plusieurs questions où vous pensez que cette réponse serait à la fois sur le sujet et à un niveau plus approprié. Veuillez garder à l'esprit que "simple" n'est pas un terme bien défini et a des interprétations subjectives différentes. Quoi qu'il en soit, il serait invalide de le confondre avec «mathématiquement peu sophistiqué», comme le suggèrent vos commentaires.
whuber
2
La réponse de Xi'an ne m'est pas inutile. J'ai appris quelque chose.
littleO
2

I like using the notion of a "kernel" of a distribution. This is where you only leave in the parts that depend on the parameter. A few simple examples.

p(μ|a,b)=K1×exp(aμ2+bμ)
KK=exp(aμ2+bμ)dμ=πaexp(b24a) The connection with standard mean/variance parameters is E(μ|a,b)=b2a and Var(μ|a,b)=12a

Beta kernel

p(θ|a,b)=K1×θa(1θ)b
Where K=θa(1θ)bdθ=Beta(a+1,b+1)

When we look at the likelihood function, we can do the same thing, and express it in "kernel form". For example with iid data

p(D|μ)=i=1np(xi|μ)=Q×f(μ)

For some constant Q and some function f(μ). If we can recognise this function as a kernel, then we can create a conjugate prior for that likelihood. If we take the normal likelihood with unit variance, the above looks like

p(D|μ)=i=1np(xi|μ)=i=1n12πexp((xiμ)22)=[i=1n12π]×i=1nexp((xiμ)22)=(2π)n2×exp(i=1n(xiμ)22)=(2π)n2×exp(i=1nxi22xiμ+μ22)=(2π)n2×exp(i=1nxi22)×exp(μi=1nxiμ2n2)=Q×exp(aμ2+bμ)

where a=n2 and b=i=1nxi and Q=(2π)n2×exp(i=1nxi22)

This likelihood function has the same kernel as the normal distribution for μ, so a conjugate prior for this likelihood is also the normal distribution.

p(μ|a0,b0)=K01exp(a0μ2+b0μ)
The posterior is then
p(μ|D,a0,b0)K01exp(a0μ2+b0μ)×Q×exp(aμ2+bμ)=K01×Q×exp([a+a0]μ2+[b+b0]μ)exp([a+a0]μ2+[b+b0]μ)
Showing that the posterior is also a normal distribution, with updated parameters from the prior using the information in the data.

In some sense a conjugate prior acts similarly to adding "pseudo data" to the data observed, and then estimating the parameters.

probabilityislogic
la source
1
(+1) I appreciate the pseudo-data intuition!
Xi'an
1

For a given distribution family Dlik of the likelihood (e.g. Bernoulli),

if the prior is of the same distribution family Dpri as the posterior (e.g. Beta),

then Dpri and Dlik are conjugate distribution families and the prior is called a conjugate prior for the likelihood function.

Note: p(θ|x)posteriorp(x|θ)likelihoodp(θ)prior

Thomas G.
la source
How does this explain what a conjugate prior is?
LBogaardt
ok I'll edit that.
Thomas