Postérieure normale multivariée

18

C'est une question très simple mais je ne trouve la dérivation nulle part sur Internet ou dans un livre. J'aimerais voir comment un bayésien met à jour une distribution normale multivariée. Par exemple: imaginez que

P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0).

Après avoir observé un ensemble de x1...xn , je voudrais calculer P(μ|x1...xn) . Je sais que la réponse est P(μ|x1...xn)=N(μn,Σn)

μn=Σ0(Σ0+1nΣ)1(1ni=1nxi)+1nΣ(Σ0+1nΣ)1μ0Σn=Σ0(Σ0+1nΣ)11nΣ

Je recherche la dérivation de ce résultat avec toute l'algèbre matricielle intermédiaire.

Toute aide est très appréciée.

Alex
la source
2
Il est également résolu dans notre livre Bayesian Core , Chap. 3, Section 3.2, pages 54-57 avec ce que nous pensons être une algèbre matricielle détaillée!
Xi'an
1
Le PO a déclaré que ce n'était pas un problème de devoirs et a même expliqué pourquoi il l'avait demandé et comment il voulait utiliser la réponse. Pourquoi ne pas l'afficher pour les autres? Je comprends pourquoi nous ne voulons pas fournir un service de résolution de problèmes de devoirs mais cela va un peu trop loin.
Michael R. Chernick
3
@Alex: Désolé, mauvais lien, je voulais dire Bayesian Core . Notez que nous avons également publié des solutions à tous les problèmes sur arXiv . Donc, publier une solution complète ici ne ferait pas de mal!
Xi'an
1
J'ai supprimé la partie des commentaires qui équivaut à un échange privé entre des particuliers avec un arrangement pour partager une réponse privée à la question. Ce genre de chose abuse de ce site, qui est tout au sujet des questions publiques et des réponses publiques .
whuber
1
Tout comme un FYI, la dérivation est dans la classification de modèle par Duda, Hart et Stork. Cependant, j'avais du mal à suivre certaines de leurs étapes, ce qui ne m'importe que. S'il s'agissait simplement de devoirs, on pourrait simplement écrire exactement ce qu'ils ont.
Alex

Réponses:

6

Avec les distributions sur nos vecteurs aléatoires:

xi|μN(μ,Σ)

μN(μ0,Σ0)

Selon la règle de Bayes, la distribution postérieure ressemble à:

p(μ|{xi})p(μ)i=1Np(xi|μ)

Donc:

lnp(μ|{xi})=12i=1N(xiμ)Σ1(xiμ)12(μμ0)Σ01(μμ0)+const

=12NμΣ1μ+i=1NμΣ1xi12μΣ01μ+μΣ01μ0+const

=12μ(NΣ1+Σ01)μ+μ(Σ01μ0+Σ1i=1Nxi)+const

=12(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))(NΣ1+Σ01)(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))+const

Which is the log density of a Gaussian:

μ|{xi}N((NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi),(NΣ1+Σ01)1)

Using the Woodbury identity on our expression for the covariance matrix:

(NΣ1+Σ01)1=Σ(1NΣ+Σ0)11NΣ0

Which provides the covariance matrix in the form the OP wanted. Using this expression (and its symmetry) further in the expression for the mean we have:

Σ(1NΣ+Σ0)11NΣ0Σ01μ0+1NΣ0(1NΣ+Σ0)1ΣΣ1i=1Nxi

=Σ(1NΣ+Σ0)11Nμ0+Σ0(1NΣ+Σ0)1i=1N(1Nxi)

Which is the form required by the OP for the mean.

conjectures
la source