Quels sont les paramètres d'un postérieur de Wishart-Wishart?

Lors de l'inférence de la matrice de précision $\boldsymbol{\Lambda}$ d'une distribution normale utilisée pour générer $N$ vecteurs D-dimension $\mathbf{x_1},..,\mathbf{x_N}$

\begin{aligned} x_{i} & \sim N (μ, Λ^{- 1}) \end{aligned}

$\begin{align} \mathbf{x_i} &\sim \mathcal{N}(\boldsymbol{\mu, \Lambda^{-1}}) \\ \end{align}$ nous plaçons généralement un Wishart prioritaire sur

Λ

$\boldsymbol{\Lambda}$ car la distribution Wishart est le conjugué avant pour la précision d'une distribution normale multivariée avec une variance moyenne et inconnue connue:

\begin{aligned} Λ & \sim W (υ, Λ_{0}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}$ où

υ

$\upsilon$ sont les degrés de liberté et

Λ_{0}

$\boldsymbol{\Lambda_0}$ lematrice d'échelle . Pour ajouter de la robustesse et de la flexibilité au modèle, nous mettons un hyperprior sur les paramètres du Wishart. Par exemple, Görür et Rasmussen suggèrent:

\begin{aligned} Λ_{0} & \sim W (D, \frac{1}{D} Λ_{x}) \\ \frac{1}{υ - D + 1} & \sim G (1, \frac{1}{D}) \end{aligned}

$\begin{align} \mathbf{\Lambda_0} &\sim \mathcal{W}(D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ \frac{1}{\upsilon-D + 1} &\sim \mathcal{G}(1, \frac{1}{D}) \\ \end{align}$ où

G

$\mathcal{G}$ est la distribution gamma.

Question:

afin d'échantillonner la partie postérieure de $\boldsymbol{\Lambda_0}$

\begin{aligned} p (Λ_{0} | X, Λ, υ, D, Λ_{x}) \propto W (Λ | υ, Λ_{0}) W (Λ_{0} | D, \frac{1}{D} Λ_{x}) \end{aligned}

$\begin{align} p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) \propto \mathcal{W}(\boldsymbol{\Lambda} | \upsilon, \boldsymbol{\Lambda_0}) \mathcal{W}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ \end{align}$

quels sont la famille et les paramètres de ce postérieur?

PS:

En supprimant tous les facteurs qui ne dépendent pas de $\boldsymbol{\Lambda_0}$ et en identifiant les paramètres avec les paramètres d'un Wihsart, j'obtiens un Wishart avec des paramètres:

\begin{aligned} υ^{'} & = υ + D \\ Λ^{'} & = Λ + Λ_{x} \end{aligned}

$\begin{align} \upsilon' &= \upsilon + D\\ \boldsymbol{\Lambda'} &= \boldsymbol{\Lambda} + \boldsymbol{\Lambda_x} \end{align}$

qui a l'air plutôt sympa, mais je ne suis pas du tout confiant car je ne trouve aucun exemple ni sur les livres ni sur internet.

Erratum :

Görur et Rasmussen suggèrent ces hyperpriors sur les paramètres de Wishart, mais cette équation:

\begin{aligned} Λ & \sim W (υ, Λ_{0}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}$

devrait être à la place:

\begin{aligned} Λ & \sim W (υ, Λ_{0}^{- 1}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}^{-1}) \\ \end{align}$

résolvant ainsi le manque de conjugaison. Si nous voulons conserver nous devons utiliser le Wishart inverse comme un préalable (voir la réponse de @ Xi'an) $\boldsymbol{\Lambda_0}$

bayesian posterior hierarchical-bayesian conjugate-prior wishart alberto
la source

Réponses:

Le produit des deux densités en conduit à

p (Λ_{0} | X, Λ, υ, D, Λ_{x}) \propto W (Λ | υ, Λ_{0}) W (Λ_{0} | D, \frac{1}{D} Λ_{x})

$p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) \propto \mathcal{W}(\boldsymbol{\Lambda} | \upsilon, \boldsymbol{\Lambda_0}) \mathcal{W}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\$

\begin{aligned} p (Λ_{0} | X, Λ, υ, D, Λ_{x}) & \propto | Λ_{0} |^{- υ / 2} \exp {- tr (Λ_{0}^{- 1} Λ) / 2} \\ \times | Λ_{0} |^{(D - p - 1) / 2} \exp {- D tr (Λ_{x}^{- 1} Λ_{0}) / 2} \\ \propto | Λ_{0} |^{(D - υ - p - 1) / 2} \exp {- t r (Λ_{0}^{- 1} Λ + D Λ_{x}^{- 1} Λ_{0}) / 2}, \end{aligned}

$\begin{align*} p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) &\propto |\boldsymbol{\Lambda_0}|^{-\upsilon/2}\,\exp\{-\text{tr}(\boldsymbol{\Lambda_0}^{-1}\boldsymbol{\Lambda})/2\}\\ &\times |\boldsymbol{\Lambda_0}|^{(D-p-1)/2}\,\exp\{-D\,\text{tr}(\boldsymbol{\Lambda_x}^{-1}\boldsymbol{\Lambda_0})/2\}\\ &\propto|\boldsymbol{\Lambda_0}|^{(D-\upsilon-p-1)/2}\,\exp\{-tr(\boldsymbol{\Lambda_0}^{-1}\boldsymbol{\Lambda}+D\,\boldsymbol{\Lambda_x}^{-1}\boldsymbol{\Lambda_0})/2\}\,, \end{align*}$
qui ne semble pas être une densité standard. Pour conserver la conjugaison de toutes sortes, le bon a priori hiérarchique sur devrait être quelque chose comme

Λ_{0}

$\boldsymbol{\Lambda_0}$

Λ_{0} \sim I W (Λ_{0} | D, \frac{1}{D} Λ_{x}) .

$\boldsymbol{\Lambda_0}\sim\mathcal{IW}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x})\,.$

Xi'an
la source

Merci pour l'indice @ Xi'an!, En fait, le paramètre devrait vraisemblablement être (ma faute, voir modifier). Je viens de poster une réponse en utilisant ceci et en gardant le Wishart * Wishart.

Λ_{0}^{- 1}

$\mathbf{\Lambda_0^{-1}}$

alberto

Ok, grâce à la réponse @ Xi'an, j'ai pu faire toute la dérivation. Je vais l'écrire pour un cas général: où le est la clé de la conjugaison. Si nous voulons utiliser ce devrait être:

\begin{aligned} W (W | υ, S^{- 1}) \times W (S | υ_{0}, S_{0}) \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S^{-1}} ) \times \mathcal{W}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) \end{align}$

S^{- 1}

$\mathbf{S^{-1}}$

S

$\mathbf{S}$

\begin{aligned} W (W | υ, S) \times I W (S | υ_{0}, S_{0}) \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S} ) \times \mathcal{IW}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) \end{align}$

Je fais le premier cas (veuillez me corriger si je me trompe):

\begin{aligned} W (W | υ, S^{- 1}) \times W (S | υ_{0}, S_{0}) & \propto | S |^{υ / 2} \exp {- \frac{1}{2} t r (S W)} \\ \times | S |^{\frac{υ_{0} - D - 1}{2}} \exp {- \frac{1}{2} t r (S_{0}^{- 1} S)} \\ \propto | S |^{\frac{υ + υ_{0} - D - 1}{2}} \exp {- \frac{1}{2} t r ((W + S_{0}^{- 1}) S)} \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S^{-1}} ) \times \mathcal{W}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) &\propto |\mathbf{S}|^{\upsilon/2} \exp\{-\frac{1}{2} tr(\mathbf{SW}) \}\\ &\times |\mathbf{S}|^{\frac{\upsilon_0 - D -1 }{2}} \exp\{-\frac{1}{2} tr (\mathbf{S_0^{-1} S})\}\\ &\propto |\mathbf{S}|^{\frac{\upsilon + \upsilon_0 - D -1 }{2}} \exp\{-\frac{1}{2} tr ( (\mathbf{W} + \mathbf{S_0^{-1}) S})\} \end{align}$

où nous avons utilisé le fait que . Par inspection, nous voyons qu'il s'agit d'une distribution Wishart: $tr({\mathbf{SW}}) = tr({\mathbf{WS}})$

\begin{aligned} p (S | \cdot) = W (υ + υ_{0}, (W + S_{0}^{- 1})^{- 1}) \end{aligned}

$\begin{align} p(\mathbf{S} | \cdot) = \mathcal{W}(\upsilon+ \upsilon_0, \mathbf{(W+S_0^{-1})^{-1}}) \end{align}$

Extension pour tirages $N$ $\mathbf{W_1...W_N}$ :

Dans le cas où nous avons matrices de précision, alors la vraisemblance devient un produit de vraisemblances et nous obtenons: $N$ $N$

\begin{aligned} p (S | \cdot) = W (N υ + υ_{0}, (\sum_{i = 1}^{N} W_{i} + S_{0}^{- 1})^{- 1}) \end{aligned}

$\begin{align} p(\mathbf{S} | \cdot) = \mathcal{W}(N \upsilon+ \upsilon_0, (\sum_{i=1}^N \mathbf{W_i+S_0^{-1})^{-1}}) \end{align}$

alberto
la source