Pourquoi la distribution postérieure de l'inférence bayésienne est-elle souvent insoluble?

J'ai du mal à comprendre pourquoi l'inférence bayésienne conduit à des problèmes insolubles. Le problème est souvent expliqué comme ceci:

Ce que je ne comprends pas, c'est pourquoi cette intégrale doit être évaluée en premier lieu: il me semble que le résultat de l'intégrale est simplement une constante de normalisation (comme l'ensemble de données D est donné). Pourquoi ne peut-on pas simplement calculer la distribution postérieure comme le numérateur du côté droit puis déduire cette constante de normalisation en exigeant que l'intégrale sur la distribution postérieure soit égale à 1?

Qu'est-ce que je rate?

Merci!

bayesian inference Arni
la source

À qui cela peut concerner: cette question est carrément d'actualité car elle concerne les statistiques.

Sycorax dit Réintégrer Monica le

L'extrait est mal écrit. Sachez que

n'est pas la distribution postérieure; il s'agit de la probabilité inconditionnelle des données (c'est-à-dire indépendamment de thêta). Parce que

sera le même pour tous les modèles considérés pour le même ensemble de données, il n'a pas nécessairement besoin d'être calculé. Si vous ne le faites pas, vous devez simplement changer le signe égal en «proportionnel à» (

P (D)

$P(\mathcal D)$

P (D)

$P(\mathcal D)$

\propto

$\propto$

gung - Rétablir Monica

Pourriez-vous fournir la référence de cette diapositive, car je suppose qu'elle a été écrite par quelqu'un d'autre?

Xi'an

L'obligation de calculer

ne se produit vraiment que lors de la comparaison de modèles (c'est ce qu'on appelle parfois les preuves ). Lorsque l'on considère un modèle unique, le numérateur "suffit" pour définir le postérieur. Cependant, si vous voulez calculer des estimateurs ponctuels comme les attentes postérieures ou les quantiles, vous trouvez très rapidement que vous avez également besoin du dénominateur.

p (D)

$p(\mathcal{D})$

Xi'an

Nous organisons actuellement un atelier sur la normalisation des constantes où vous pouvez trouver des entrées intéressantes pour répondre à cette question.

Xi'an

Réponses:

Pourquoi ne peut-on pas simplement calculer la distribution postérieure comme le numérateur du côté droit puis déduire cette constante de normalisation en exigeant que l'intégrale sur la distribution postérieure soit égale à 1?

P (θ | D) = \frac{p (D | θ) P (θ)}{P (D)} .

$P(\theta|D) = \dfrac{p(D|\theta) \, P(\theta)}{P(D)}.$

$P(D|\theta)P(\theta)$ $\theta$ $c$

\begin{aligned} \int_{θ} c P (D | θ) P (θ) d θ = 1 \\ \Rightarrow & \int_{θ} c P (D, θ) d θ = 1 \\ \Rightarrow & c P (D) = 1 \\ \Rightarrow & c = \frac{1}{P (D)} . \end{aligned}

$\begin{align*} &\int_{\theta} cP(D|\theta) \, P(\theta)\, d\theta = 1\\ \Rightarrow & \int_{\theta} cP(D, \theta) \, d\theta = 1\\ \Rightarrow & cP(D) = 1\\ \Rightarrow& c = \dfrac{1}{P(D)}. \end{align*}$

$P(D)$

Greenparker
la source

θ

$\theta$

J'avais la même question. Ce super article l' explique très bien.

En un mot. Elle est intraitable car le dénominateur doit évaluer la probabilité de TOUTES les valeurs possibles de 𝜃; dans les cas les plus intéressants, TOUT est une grande quantité. Alors que le numérateur est pour une seule réalisation de 𝜃.

Voir Eqs. 4-8 dans le post. Capture d'écran du lien:

Arraval
la source