Comprendre les distributions prédictives bayésiennes

Je prends un cours d'introduction à Bayes et j'ai du mal à comprendre les distributions prédictives. Je comprends pourquoi ils sont utiles et je connais la définition, mais il y a certaines choses que je ne comprends pas très bien.

1) Comment obtenir la bonne distribution prédictive pour un vecteur de nouvelles observations

Supposons que nous ayons construit un modèle d'échantillonnage $p(y_i | \theta)$ pour les données et un antérieur $p(\theta)$. Supposons que les observations $y_i$ soient conditionnellement indépendantes étant donné $\theta$ .

Nous avons observé certaines données $\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$ , et nous mettons à jour notre antérieur$p(\theta)$au postérieur$p(\theta | \mathcal{D})$.

Si nous voulions prédire un vecteur de nouvelles observations $\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$ , je pense que nous devrions essayer d'obtenir le prédictif postérieur en utilisant cette formule

$$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$$ qui n'est pas égal à $$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$$ donc les observations prévues ne sont pas indépendantes, non?

Disons que Bêta ( a , b ) et p ( y i | θ ) ∼ Binomial ( n , θ ) pour un n fixe . Dans ce cas, si je voulais simuler 6 nouveaux ˜ y , si je comprends bien, il serait faux de simuler 6 tirages indépendamment de la distribution bêta-binomiale qui correspond à la prédiction postérieure pour une seule observation. Est-ce correct? Je ne sais pas comment interpréter que les observations ne sont pas indépendantes de façon marginale, et je ne suis pas sûr de bien comprendre cela.$\theta | \mathcal{D} \sim$$a,b$$p(y_i | \theta) \sim$$n, \theta$$n$$\tilde{y}$

Simulation à partir de prédictions postérieures

Plusieurs fois, lorsque nous simulons des données de la prédiction postérieure, nous suivons ce schéma:

Pour de 1 à B :$b$$B$

1) Échantillon de p ( θ | D ) .$\theta^{(b)}$$p(\theta | \mathcal{D})$

2) Simulez ensuite de nouvelles données partir de p ( N | θ ( b ) ) .$\mathcal{N}^{(b)}$$p(\mathcal{N} | \theta^{(b)})$

Je ne sais pas trop comment prouver que ce schéma fonctionne, bien qu'il semble intuitif. Est-ce que cela a aussi un nom? J'ai essayé de chercher une justification et j'ai essayé différents noms, mais je n'ai pas eu de chance.

Merci!

Supposons que sont conditionnellement indépendants étant donné que Θ = θ . Alors, f X n + 1 ∣ X 1 , … , X n ( x n + 1 ∣ x 1 , … , x n ) = ∫ f X n + 1 , Θ ∣ X $X_1,\dots,X_n,X_{n+1}$$\Theta=\theta$= ∫ f X n + 1 ∣ Θ , X 1 , … , X n ( x n + 1 ∣ θ , x 1 , … , x n ) f Θ ∣ X 1 , … , X n ( θ ∣ x 1 , … , X n

$$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$$ = ∫ f X n + 1 ∣ Θ ( x n + 1 ∣ θ ) f Θ ∣ X 1 , … , X n ( θ ∣ x 1 , … , x n $$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$$ dans laquelle la première égalité découle de la loi de probabilité totale, la seconde découle de la règle du produit et la troisième de l'indépendance conditionnelle supposée: étant donné la valeur de Θ , nous n'avons pas besoin des valeurs de X 1 , … , X n pour déterminer la distribution de X n + 1 . $$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$$ $\Theta$$X_1,\dots,X_n$$X_{n+1}$

$i=1,\dots,N$$\theta^{(i)}$$\Theta\mid X_1=x_1,\dots,X_n=x_n$$x_{n+1}^{(i)}$$X_{n+1}\mid\Theta=\theta^{(i)}$$\{x_{n+1}^{(i)}\}_{i=1}^N$$X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$

Je vais essayer de passer en revue l'intuition derrière la génération de la distribution prédictive postérieure étape par étape.

$y$$p(y|\theta)$$\tilde y$$\tilde y$$y$$\theta$$\theta$$\theta$$p(\theta|y)$$\tilde y$$y$$\theta$$y$

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

$\tilde y$

$\displaystyle p(\tilde y|y ) = \int_\Theta p(\tilde y | \theta,y) p(\theta | y) d\theta = \int_\Theta p(\tilde y | \theta) p(\theta | y) d\theta$

$\Theta$$\theta$

$p(\tilde y|y)$

---

pour s = 1,2, ..., S do

$\theta^{(s)}$$p(\theta|y)$

$\tilde y^{(s)}$$p(\tilde y|\theta^{(s)})$

---

$p(\theta|y)$

$p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$$\theta^{(s)}$$p(\theta|y)$$\tilde y^{(s)}$$p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$$p(\tilde y, \theta|y)$$\tilde y^{(s)}, s=1,2,...,S$$p(\tilde y|y)$

$\theta$$\tilde{y}_1$$\theta$