Comment puis-je compléter le carré avec une probabilité normale et une priorité normale?

Comment puis-je compléter le carré à partir du point où je me suis arrêté, et est-ce correct jusqu'à présent?

J'ai un avant normal pour $\beta$ de la forme $p(\beta|\sigma^2)\sim \mathcal{N}(0,\sigma^2V)$, obtenir:

$p(\beta|\sigma^2)=(2\pi\sigma^2V)^\frac{p}{2}\exp[-\frac{1}{2\sigma^2}\beta^T\beta]$

où $\beta^T\beta$ est $\sum\limits_{i=1}^p \beta_i^2$.

Ma probabilité a une distribution normale pour les points de données y du formulaire $p(y|\beta,\sigma^2)\sim\mathcal{N}(B\beta,\sigma^2I)$

$p(y|\beta,\sigma^2)=(2\pi \sigma^2V)^\frac{n}{2}\exp[-\frac{1}{2\sigma^2}({\bf y}-{\bf B}{\bf \beta})^T({\bf y}-{\bf B}{\bf \beta})]$

(Notez que $\beta$ est aussi une matrice / vecteur, \ bf ne fonctionne pas.)

Pour obtenir mon postérieur pour $\beta$ J'ai combiné ce qui précède, pris uniquement les parties exponentielles, puis développé pour obtenir:

$\exp[-\frac{1}{2\sigma^2}({\bf y}^T{\bf y}-{\bf y}^T{\bf B}\beta-\beta{\bf B}^T{\bf y}-\beta^T{\bf B}^T{\bf B}\beta)]\exp[-\frac{1}{2\sigma^2}({\bf \beta}^T{\bf B})]$.

J'ai laissé tomber le $({\bf y}^T{\bf y})$ terme, car il n’est pas fonction $\beta$.

Mettre en une seule expression sans l'exponentielle:

$-\frac{1}{2\sigma^2}(-{\bf y}^T{\bf B}\beta-\beta{\bf B}^T{\bf y}-\beta^T{\bf B}^T{\bf B}\beta+{\bf \beta}^T{\bf B})$.

Je sais que je dois combiner les termes similaires et prendre la forme de la distribution normale multivariée, ce que je vise, mais je ne sais pas comment faire? Je dois probablement ajouter un terme supplémentaire à l'expression pour la mettre sous la bonne forme?

Remarque: Ce ne sont pas des devoirs, c'est un projet, mais mes connaissances professionnelles bayésiennes ne sont pas bonnes du tout et j'ai donc besoin de comprendre le travail. J'ai l'intention d'intégrer le$\beta$ puis le $\sigma^2$ après être entré dans la forme multivariée.

Je vais recommencer à zéro, car le message d'origine contient des fautes de frappe comme des signes erronés, laissant tomber le $V$ matrice, etc.

Vous avez spécifié avant $p(\beta)=\mathcal{N}( 0, \sigma^2 V )$ et probabilité: $p(y | \beta ) = \mathcal{N}( B\beta, \sigma^2I )$.

Nous pouvons écrire chacun de ceux-ci purement comme des expressions de termes à l'intérieur du $\exp$ qui dépendent de $\beta$, regroupant tous les termes sans rapport avec $\beta$ en une seule constante:

$\log p( \beta ) + \mbox{const} = -\frac{1}{2\sigma^2} \beta^T V^{-1} \beta$

$\log p( y | \beta ) + \mbox{const} = -\frac{1}{2\sigma^2}( \beta^T B^TB \beta - 2y^T B \beta ) \quad$ (Notez que $y^TB\beta = \beta^T B^T y$ toujours)

L'ajout de ceux-ci dans l'espace journal et la collecte de termes similaires donne le journal non normalisé postérieur

$\log p( \beta | y ) + \mbox{const} = -\frac{1}{2\sigma^2}( \beta^T(V^{-1} + B^TB)\beta - 2y^T B \beta )\quad$ (1)

... ici, nous avons utilisé l'identité standard $x^TAx + x^TCx = x^T(A+C)x$ pour tous les vecteurs $x$ et matrices $A,C$ de taille appropriée.

OK, notre objectif est maintenant de "compléter" le carré. Nous aimerions une expression du formulaire ci-dessous, qui indiquerait que le postérieur de$\beta$ est gaussien.

$\log p( \beta | y ) + \mbox{const} = (\beta - \mu_p)^T \Lambda_p (\beta - \mu_p ) = \beta^T \Lambda_p \beta -2\mu_p^T \Lambda_p \beta + \mu_p^T \Lambda_p \mu_p$

où les paramètres $\mu_p, \Lambda_p$ définir respectivement la matrice postérieure de la moyenne et la covariance inverse.

Eh bien, par inspection eqn. (1) ressemble beaucoup à ce formulaire si nous définissons

$\Lambda_p = V^{-1} + B^TB \quad$ et $\quad \mu_p = \Lambda_p^{-1}B^Ty$

En détail, nous pouvons montrer que cette substitution crée chaque terme nécessaire à partir de (1):

terme quadratique: $\beta^T \Lambda_p \beta = \beta^T( V^{-1} + B^TB)\beta$

terme linéaire: $\mu_p^T \Lambda_p \beta = ( \Lambda_p^{-1}B^Ty )^T \Lambda_p \beta = y^T B \Lambda_p^{-1} \Lambda_p \beta = y^T B \beta$

.... ici nous avons utilisé des faits $(AB)^T = B^T A^T$ et $(\Lambda_p^{-1})^T =\Lambda_p^{-1}$ en raison de la symétrie ($\Lambda_p$ est symétrique, alors son inverse aussi).

Cependant, cela nous laisse avec un terme supplémentaire embêtant $\mu_p^T \Lambda_p \mu_p$. Pour éviter cela, nous soustrayons simplement ce terme de notre résultat final. Ainsi, nous pouvons directement remplacer notre$\mu_p, \Lambda_p$ paramètres dans (1) pour obtenir

$\log p( \beta | y ) + \mbox{const} = -\frac{1}{2\sigma^2}[ (\beta-\mu_p)^T\Lambda_p(\beta-\mu_p) - \mu_p\Lambda_p\mu_p ]$

puisque ce dernier terme est constant par rapport à $\beta$, nous pouvons simplement l'écraser dans la grande constante de normalisation sur le côté gauche et nous avons atteint notre objectif.