Prise en compte des paramètres discrets ou binaires dans le critère d'information bayésien

9

BIC pénalise en fonction du nombre de paramètres. Et si certains des paramètres sont des variables indicatrices binaires? Ces paramètres comptent-ils comme des paramètres complets? Mais je peux combiner m paramètres binaires en une variable discrète qui prend des valeurs dans . Doit-on les compter comme paramètres ou comme un paramètre?{0,1,...,2m−1}m

bayesian model-selection bic parameterization bande passante élevée
la source

Réponses:

3

C'est en partie à cause de cette imprécision dans le "nombre de paramètres" dans BIC que DIC (le critère d'information de déviance ) a introduit un nombre effectif de paramètres comme

pD(x)=E[D(θ)|x]−D(E[θ|x])
où et Notez que dépend alors des données. (Comme indiqué ici , DIC a également ses propres problèmes!)
D(θ)=−2log⁡f(x|θ)
p D ( x )
DIC(x)=pD(x)+E[D(θ)|x]
pD(x)
Xi'an
la source
E[logP(y|Model)]=log⁡(∫P(y|θ)Pmodel(θ)dθ)
1
Oui, BIC est une approximation de la probabilité marginale. Cependant, ce n'est qu'une approximation qui converge vers la «vérité» lorsque la taille de l'échantillon croît à l'infini. Il n'est donc pas directement bayésien (n'utilise pas l'a priori, pour une chose!) Et totalement sans rapport avec MCMC (où l'approximation est de type Monte Carlo: si j'augmente le nombre de simulations, l'approximation s'améliore). DIC est considéré comme plus bayésien par beaucoup (y compris B. Carlin et D. Spiegelhatler)
Xi'an
Je suppose que ma question était la suivante: le DIC est-il également une approximation de la probabilité du modèle marginal? Je suppose que je devrais lire à ce sujet moi-même, mais puisque nous en avons discuté, j'ai pensé que l'expliquer rendrait la réponse plus complète. Merci!
highBandWidth