Étapes pour comprendre une distribution postérieure alors qu'elle pourrait être assez simple pour avoir une forme analytique?

Cela a également été demandé à Computational Science.

J'essaie de calculer une estimation bayésienne de certains coefficients pour une autorégression, avec 11 échantillons de données:

$$Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i}$$ où$\epsilon_{i}$ est gaussien avec moyenne 0 et variance$\sigma_{e}^{2}$ La distribution a priori sur le vecteur$(\mu, \alpha)^{t}$ est gaussienne avec moyenne$(0,0)$ et une matrice de covariance diagonale avec des entrées diagonales égales à$\sigma_{p}^{2}$ .

Sur la base de la formule d'autorégression, cela signifie que la distribution des points de données (les $Y_{i}$ ) est normale avec une moyenne $\mu + \alpha\cdot{}Y_{i-1}$ et variance$\sigma_{e}^{2}$ . Ainsi, la densité de tous les points de données$(Y)$ conjointement (en supposant l'indépendance, ce qui est bien pour le programme que j'écris), serait:

$$p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}.$$

Selon le théorème de Bayes, nous pouvons prendre le produit de la densité ci-dessus avec la densité antérieure, puis nous aurons juste besoin de la constante de normalisation. Mon intuition est que cela devrait fonctionner pour être une distribution gaussienne, donc nous pouvons nous soucier de la constante de normalisation à la fin plutôt que de la calculer explicitement avec des intégrales sur et α .$\mu$$\alpha$

C'est la partie avec laquelle j'ai du mal. Comment calculer la multiplication de la densité antérieure (qui est multivariée) et de ce produit de densités de données univariées? Le postérieur doit être purement une densité de et α , mais je ne vois pas comment vous obtiendrez cela d'un tel produit.$\mu$$\alpha$

Tous les pointeurs sont vraiment utiles, même si vous me pointez dans la bonne direction et que je dois ensuite faire l'algèbre en désordre (c'est ce que j'ai déjà tenté plusieurs fois).

Comme point de départ, voici la forme du numérateur de la règle de Bayes:

$$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }.$$

La question est de savoir comment cela se réduit à une densité gaussienne de .$(\mu, \alpha)^{t}$

Ajoutée

En fin de compte, cela se résume au problème général suivant. Si l'on vous donne une expression quadratique telle que Comment mettre cela en une forme quadratique ( μ - μ , α - α ) Q ( μ - μ

$$A\mu^{2} + B\mu\alpha + C\alpha^{2} + J\mu + K\alpha + L$$ pour une matrice 2x2$(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$$Q$? Il est assez simple dans les cas faciles, mais quel processus utilisez-vous pour obtenir les estimations et α ?$\hat{\mu}$$\hat{\alpha}$

Remarque, j'ai essayé l'option simple d'étendre la formule matricielle, puis d'essayer d'égaliser les coefficients comme ci-dessus. Le problème, dans mon cas, est que la constante est nulle, puis je finis par obtenir trois équations dans deux inconnues, il est donc sous-déterminé de ne faire correspondre que les coefficients (même si je suppose une matrice de forme quadratique symétrique).$L$

L'indice qui était dans ma réponse à la réponse précédente est de voir comment j'ai intégré les paramètres - parce que vous ferez exactement les mêmes intégrales ici. Votre question suppose que les paramètres de variance connus, ce sont donc des constantes. Il suffit de regarder ledépendance α , μ du numérateur. Pour voir cela, notons que nous pouvons écrire:$\alpha,\mu$

$$p(\mu,\alpha|Y)=\frac{p(\mu,\alpha)p(Y|\mu,\alpha)}{\int\int p(\mu,\alpha)p(Y|\mu,\alpha)d\mu d\alpha}$$ $$=\frac{\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$$

Remarquez comment nous pouvons tirer le premier facteur de l'intégrale double sur le dénominateur, et il annule avec le numérateur. On peut aussi extraire la somme des carrésexp[-$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}}$et il sera également annulé. L'intégrale qui nous reste est maintenant (après avoir élargi le terme au carré):$\exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}Y_{i}^{2} \biggr ]}$

$$=\frac{\exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$$

Maintenant, nous pouvons utiliser un résultat général du pdf normal.

Cela découle du fait de compléter le carré sur-az2+bzet de noter quecne dépend pas dez. Notez que l'intégrale interne surμest de cette forme aveca=

$$\int \exp\left(-az^2+bz-c\right)dz=\sqrt{\frac{\pi}{a}}\exp\left(\frac{b^2}{4a}-c\right)$$ $-az^2+bz$$c$$z$$\mu$ etb=∑ 11 i = 2 Yi-α∑ 10 i = 1 Y$a=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p}$ etc$b=\frac{\sum_{i=2}^{11}Y_i-\alpha\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}}$ . Après avoir fait cette intégrale, vous constaterez que l'intégrale restante surαest également de cette forme, vous pouvez donc réutiliser cette formule, avec un différenta,b,c. Ensuite, vous devriez pouvoir écrire votre postérieur sous la forme$c=\frac{\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}}{2\sigma_{e}^{2}}+ \frac{\alpha^{2}}{2\sigma_{p}^{2}}$$\alpha$$a,b,c$ oùVest un2×2matrice$\frac{1}{2\pi|V|^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mu-\hat{\mu},\alpha-\hat{\alpha})V^{-1}(\mu-\hat{\mu},\alpha-\hat{\alpha})^T\right]$$V$$2\times 2$

Faites-moi savoir si vous avez besoin de plus d'indices.

mise à jour

(note: formule correcte, devrait être de au lieu de μ 2 )$10\mu^2$$\mu^2$

$5$$L$$5$$\hat{\mu},\hat{\alpha},Q_{11},Q_{12}=Q_{21},Q_{22}$$(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

$$Q_{11}(\mu-\hat{\mu})^2+Q_{22}(\alpha-\hat{\alpha})^2+2Q_{12}(\mu-\hat{\mu})(\alpha-\hat{\alpha})$$ $$=Q_{11}\mu^{2} + 2Q_{21}\mu\alpha + Q_{22}\alpha^{2} - (2Q_{11}\hat{\mu}+2Q_{12}\hat{\alpha})\mu - (2Q_{22}\hat{\alpha}+2Q_{12}\hat{\mu})\alpha +$$ $$+Q_{11}\hat{\mu}^2+Q_{22}\hat{\alpha}^2+2Q_{12}\hat{\mu}\hat{\alpha}$$

$A=Q_{11},B=2Q_{12},C=Q_{22}$$\hat{\alpha},\hat{\mu}$$Q$

$$-\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix} \begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = \begin{pmatrix}J \\ K\end{pmatrix}$$

Ainsi, les estimations sont données par:

$$\begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = -\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix}^{-1}\begin{pmatrix}J \\ K\end{pmatrix}=\frac{1}{4AC-B^2}\begin{pmatrix}BK-2JC \\ BJ-2KA\end{pmatrix}$$

$4AC\neq B^2$

$$\begin{array}{c c} A=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} & B=\frac{\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}} & C=\frac{\sum_{i=1}^{10}Y_{i}^{2}}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} \\ J=-\frac{\sum_{i=2}^{11}Y_i}{\sigma_{e}^{2}} & K=-\frac{\sum_{i=2}^{11}Y_{i}Y_{i-1}}{\sigma_{e}^{2}} \end{array}$$

$X_i=Y_{i-1}$$i=2,\dots,11$$\sigma^2_p\to\infty$$\mu,\alpha$$\hat{\alpha}=\frac{\sum_{i=2}^{11}(Y_{i}-\overline{Y})(X_{i}-\overline{X})}{\sum_{i=2}^{11}(X_{i}-\overline{X})^2}$$\hat{\mu}=\overline{Y}-\hat{\alpha}\overline{X}$$\overline{Y}=\frac{1}{10}\sum_{i=2}^{11}Y_i$$\overline{X}=\frac{1}{10}\sum_{i=2}^{11}X_i=\frac{1}{10}\sum_{i=1}^{10}Y_i$$(0,0)$