«Oubli» du prieur dans le cadre bayésien?

Il est bien connu que comme vous avez plus de preuves (par exemple sous la forme d' exemples pour iid plus grands ), le prieur bayésien est "oublié", et la plupart des inférences sont affectées par les preuves (ou la probabilité). $n$ $n$

Il est facile de le voir pour divers cas spécifiques (tels que Bernoulli avec Beta prior ou d'autres types d'exemples) - mais existe-t-il un moyen de le voir dans le cas général avec et certains antérieurs ? $x_1,\ldots,x_n \sim p(x|\mu)$ $p(\mu)$

EDIT: Je suppose que cela ne peut être montré dans le cas général pour aucun précédent (par exemple, un a priori en masse ponctuelle garderait le postérieur en masse ponctuelle). Mais il y a peut-être certaines conditions dans lesquelles un prieur est oublié.

Voici le genre de "chemin" auquel je pense montrer quelque chose comme ça:

Supposons que l'espace des paramètres soit , et que et soient deux a priori qui placent une masse de probabilité non nulle sur tout . Ainsi, les deux calculs postérieurs pour chaque montant antérieur à: $\Theta$ $p(\theta)$ $q(\theta)$ $\Theta$

p (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) p (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta}$

q (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) q (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}

$q(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta}$

$p$ $q$

p (θ | x_{1}, \dots, x_{n}) / q (θ | x_{1}, \dots, x_{n}) = \frac{p (θ) \int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}{q (θ) \int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | \theta) q(\theta)d \theta}{q(\theta)\int_{\theta} \prod_i p(x_i | \theta) p(\theta)d \theta}$

$n$ $\infty$ $1$ $\theta$

bayesian prior bayesianOrFrequentist
la source

Pour une certaine intuition, notez que la probabilité évolue avec la taille de l'échantillon alors que l'a priori ne le fait pas.

Macro

@Macro, merci, j'ai aussi eu cette intuition, mais je n'ai pas pu pousser plus loin. Voir mes modifications ci-dessus.

bayesianOrFrequentist

Les premiers chapitres du manuel Bayoshian Nonparametrics de Ghosh et Ramamoorthi expliquent le genre de choses dont vous parlez (d'abord dans un cadre paramétrique, puis non paramétrique); il est disponible gratuitement sur Springer en ligne si vous êtes dans une institution appropriée. Il existe plusieurs façons de formaliser le manque de dépendance vis-à-vis du prieur asymptotiquement, mais il existe bien sûr quelques conditions de régularité.

gars

Notez que le rapport postérieur est juste proportionnel au rapport précédent, donc le rapport de vraisemblance ni de preuve n'influence pas vraiment cela.

probabilitéislogic

Réponses:

Juste une réponse approximative, mais j'espère intuitive.

$- \log P (θ | x_{1}, \dots, x_{n}) = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ) - C_{n}$ $-\log P(\theta|x_1, \ldots, x_n) = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta) - C_n$ $C_n>0$ $S_{n} = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ)$ $S_n = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta)$
$D>0$ $-\log P(\theta) \leq D$
$S_n$ $D$ $D/S_n$

Les preuves rigoureuses doivent bien sûr faire face aux détails techniques (et elles peuvent être très difficiles), mais le réglage ci-dessus est à mon humble avis la partie très basique.

Pedro A. Ortega
la source

Je suis quelque peu confus par ce que les déclarations «le prieur est oublié» et «la majeure partie de l'inférence est influencée par la preuve» sont censées signifier. Je suppose que vous voulez dire que lorsque la quantité de données augmente, la (séquence) d'estimateur (s) se rapproche de la vraie valeur du paramètre indépendamment de notre précédent.

$\theta_0$

\frac{E [\hat{θ} | θ_{0}] - θ_{0}}{\sqrt{V a r (\hat{θ})}} \overset{p}{\to} 0

$\frac{E[\hat{\theta}|\theta_0]-\theta_0}{\sqrt{\mathrm{Var}(\hat{\theta})}}\overset{p}\rightarrow0$

La convergence ne dépend pas de la forme spécifique de l'a priori, mais seulement du fait que la distribution postérieure obtenue à partir de l'a priori et la vraisemblance satisfont aux conditions de régularité.

La condition de régularité la plus importante mentionnée dans Gelman et al. Est que la probabilité soit une fonction continue du paramètre et que la vraie valeur du paramètre soit à l' intérieur de l'espace des paramètres. De plus, comme vous l'avez noté, le postérieur doit être différent de zéro dans un voisinage ouvert de la vraie valeur de la vraie valeur du paramètre. Habituellement, votre a priori doit être différent de zéro sur tout l'espace des paramètres.

caburke
la source

merci, très perspicace. J'espérais en fait un résultat qui ne serait même pas lié à la "vraie" valeur du paramètre. Juste pour montrer que techniquement, comme vous avez plus de preuves, le postérieur que vous allez obtenir est le même sans égard au prieur avec lequel vous avez commencé. Je vais apporter quelques modifications pour refléter cela.

bayesianOrFrequentist

@bayesianOrFrequentist Jetez un oeil au soi-disant théorème de la limite centrale bayésienne .

Stéphane Laurent