Quand devrais-je m'inquiéter du paradoxe de Jeffreys-Lindley dans le choix du modèle bayésien?

Je considère un grand (mais fini) espace de modèles de complexité variable que j'explore en utilisant RJMCMC . Le prior sur le vecteur de paramètre pour chaque modèle est assez informatif.

Dans quels cas (le cas échéant) devrais-je m'inquiéter du paradoxe de Jeffreys-Lindley favorisant les modèles plus simples alors que l'un des modèles les plus complexes conviendrait mieux?
Existe-t-il des exemples simples qui mettent en évidence les problèmes du paradoxe dans le choix du modèle bayésien?

J'ai lu quelques articles, à savoir le blog de Xi'an et le blog de Andrew Gelman , mais je ne comprends toujours pas tout à fait le problème.

bayesian model-selection mcmc prior improper-prior Jeff
la source

Je pense qu'il y a trop de questions et elles sont trop distinctes pour être traitées efficacement ici.

jaradniemi

Merci pour la rétroaction, @jaradniemi, j'ai supprimé la question "La procédure RJMCMC, qui renvoie effectivement les probabilités du modèle postérieur, devrait-elle favoriser les mêmes modèles que le DIC?"

Jeff

Désolé de ne pas être clair sur mon blog !

Remarque: J'ai fourni quelques informations sur le choix du modèle bayésien et le paradoxe de Jeffreys-Lindley dans cette autre réponse sur Cross validée.

Le paradoxe de Jeffreys-Lindley est lié au choix du modèle bayésien en ce que la vraisemblance marginale perd tout son sens lorsque est unemesure -finie (c'est-à-dire une mesure de masse infinie) plutôt qu'une mesure de probabilité. La raison de cette difficulté est que la masse infinie rend et indiscernables pour toute constante positive . En particulier, le facteur Bayes ne peut pas être utilisé et ne doit pas être utilisé lorsqu'un modèle est doté d'un préalable "plat".

m (x) = \int π (θ) f (x | θ) d θ

$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$

π

$\pi$

σ

$\sigma$

π

$\pi$

c π

$\mathfrak{c}\pi$

c

$\mathfrak{c}$

x \sim N (0, 1)

$x\sim\mathcal{N}(0,1)$

x \sim N (θ, 1)

$x\sim\mathcal{N}(\theta,1)$

B_{12} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{\int_{- \infty}^{+ \infty} \exp {- n ({\bar{x}}_{n} - θ)^{2} / 2} π (θ) d θ}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$

π

$\pi$

N (0, τ^{2})

$\mathcal{N}(0,\tau^2)$

θ

$\theta$

τ

$\tau$

{\bar{x}}_{n}

$\bar{x}_n$

n

$n$

τ

$\tau$

n

$n$

π (θ) = c

$\pi(\theta)=\mathfrak{c}$

c

$\mathfrak{c}$

B_{12}

$\mathfrak{B}_{12}$

B_{12} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{c \int_{- \infty}^{+ \infty} \exp {- n ({\bar{x}}_{n} - θ)^{2} / 2} d θ} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{c \sqrt{2 π / n}}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$

c

$\mathfrak{c}$

Maintenant, si vos prieurs sont informatifs (et donc appropriés), il n'y a aucune raison pour que le paradoxe de Jeffreys-Lindley se produise. Avec un nombre suffisant d'observations, le facteur Bayes sélectionnera systématiquement le modèle qui a généré les données. (Ou plus précisément le modèle au sein de la collection de modèles pris en compte pour le choix du modèle qui est le plus proche du "vrai" modèle qui a généré les données.)

Xi'an
la source

Merci beaucoup pour votre réponse très détaillée, Xi'an! Votre blog est très clair (j'en ai beaucoup appris) J'ai été un peu lent à comprendre ce problème particulier!

Jeff

En fait, mon blog fonctionne avec des hypothèses très variables sur le fond et les conditions préalables, donc il n'est certainement pas clair parfois et pour de nombreux lecteurs!

Xi'an

Quand devrais-je m'inquiéter du paradoxe de Jeffreys-Lindley dans le choix du modèle bayésien?

Réponses: