Comment prendre dérivé de la densité normale multivariée?

Disons que j'ai une densité normale multivariée de . Je veux obtenir le deuxième dérivé (partiel) wrt \ mu . Pas sûr de savoir comment prendre dérivé d'une matrice.$N(\mu, \Sigma)$$\mu$

Le wiki dit prendre le dérivé élément par élément à l'intérieur de la matrice.

Je travaille avec l'approximation de Laplace Le mode est .Θ =

$$\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.$$
$\hat\theta=\mu$

On m'a donné comment est-ce arrivé?

$${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y),$$

Ce que j'ai fait:

$$\log P(\theta|y) = -\frac{k}{2} \log 2 \pi - \frac{1}{2} \log \left| \Sigma \right| - \frac{1}{2} {(\theta-\hat \theta)}^{T}{\Sigma}^{-1}(\theta-\hat\theta)$$

Donc, je prends dérivé de $\theta$ , premièrement, il y a une transposition, deuxièmement, c'est une matrice. Donc, je suis coincé.

Note: Si mon professeur rencontre ceci, je me réfère à la conférence.

Dans le chapitre 2 du livre de recettes matricielles, vous trouverez un aperçu des éléments de calcul matriciel qui donne de nombreuses identités utiles pour résoudre les problèmes rencontrés lors de la réalisation de probabilités et de statistiques, y compris des règles permettant de différencier la vraisemblance gaussienne multivariée.

Si vous avez un vecteur aléatoire multivarié normal avec un vecteur moyen et une matrice de covariance , utilisez l'équation (86) dans le livre de recettes matriciel pour déterminer que le gradient de la vraisemblance du journal par rapport à estμ Σ L ${\boldsymbol y}$${\boldsymbol \mu}$${\boldsymbol \Sigma}$${\bf L}$${\boldsymbol \mu}$

$$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \mu}} &= -\frac{1}{2} \left( \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) }{\partial {\boldsymbol \mu}} \right) \nonumber \\ &= -\frac{1}{2} \left( -2 {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) \right) \nonumber \\ &= {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \end{align}$$

Je vous laisse le soin de différencier à nouveau cette question et de trouver la réponse .$-{\boldsymbol \Sigma}^{-1}$

En tant que "crédit supplémentaire", utilisez les équations (57) et (61) pour déterminer que le gradient par rapport à est${\boldsymbol \Sigma}$

$$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( \frac{ \partial \log(|{\boldsymbol \Sigma}|)}{\partial{\boldsymbol \Sigma}} + \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu}\right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y}- {\boldsymbol \mu}\right) }{\partial {\boldsymbol \Sigma}} \right)\\ &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) \end{align}$$

J'ai omis beaucoup d'étapes, mais j'ai fait cette dérivation en utilisant uniquement les identités trouvées dans le livre de recettes de la matrice. Je vous laisse donc le soin de combler les lacunes.

J'ai utilisé ces équations de score pour l'estimation du maximum de vraisemblance, je sais donc qu'elles sont correctes :)

Vous devez vous assurer que vous prenez bien en compte les éléments répétés dans , sinon vos dérivés seront incorrects. Par exemple, (141) le livre de recettes matriciel donne pour un symétrique les dérivés suivants$\mathbf{\Sigma}$$\mathbf{\Sigma}$

$$\begin{align} \frac{\partial \log|\mathbf{\Sigma}|}{\partial \mathbf{\Sigma}}&=2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) \end{align}$$

Et (14) de Différenciation des fonctions des matrices de covariance donne

$$\begin{align} \frac{\partial \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)}{\partial \mathbf{\Sigma}}&=-2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I) \end{align}$$

où désigne le produit Hadmard et pour plus de commodité, nous avons défini .x : = y - $\circ$$\mathbf{x}:=\mathbf{y}-\mathbf{\mu}$

Notez en particulier que ce n'est pas la même chose que lorsque la symétrie de n'est pas imposée. En conséquence, nous avons ce$\mathbf{\Sigma}$

$$\begin{align} \frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}&=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left(D\log|2\pi|+ \log|\mathbf{\Sigma}| + \mathbf{x}^{\top}\mathbf{\Sigma}^{-1}\mathbf{x})\right)\\ &=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left( \log|\mathbf{\Sigma}| + \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)\right)\\ &=-\frac{1}{2}\left( 2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) -2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I)\right) \end{align}$$

où désigne la dimension de , et et la dérivée deest 0x y μ D log | 2 π $D$$\mathbf{x}$$\mathbf{y}$$\mathbf{\mu}$$D\log|2\pi|$

Cela garantit que l' élément de correspond à .∂ $i,j^{th}$ de$\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}$$\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}_{ij}}$

J'ai essayé de vérifier informatiquement la réponse de @ Macro mais j'ai trouvé ce qui semble être une erreur mineure dans la solution de covariance. Il a obtenu Cependant, il semble que la solution correcte soit réellement Le script R suivant fournit un exemple simple dans lequel la différence finie est calculée pour chaque élément de . Cela démontre queB=2A-diag(A)ΣA

$$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) ={\bf A} \end{align}$$ $${\bf B}=2{\bf A} - \text{diag}({\bf A})$$ ${\boldsymbol \Sigma}$${\bf A}$fournit la réponse correcte uniquement pour les éléments diagonaux, tandis que est correct pour chaque entrée.${\bf B}$

library(mvtnorm)

set.seed(1)

# Generate some parameters
p <- 4
mu <- rnorm(p)
Sigma <- rWishart(1, p, diag(p))[, , 1]

# Generate an observation from the distribution as a reference point
x <- rmvnorm(1, mu, Sigma)[1, ]

# Calculate the density at x
f <- dmvnorm(x, mu, Sigma)

# Choose a sufficiently small step-size
h <- .00001

# Calculate the density at x at each shifted Sigma_ij
f.shift <- matrix(NA, p, p)
for(i in 1:p) {
  for(j in 1:p) {
    zero.one.mat <- matrix(0, p, p)
    zero.one.mat[i, j] <- 1
    zero.one.mat[j, i] <- 1

    Sigma.shift <- Sigma + h * zero.one.mat
    f.shift[i, j] <- dmvnorm(x, mu, Sigma.shift)
  }
}

# Caluclate the finite difference at each shifted Sigma_ij
fin.diff <- (f.shift - f) / h

# Calculate the solution proposed by @Macro and the true solution
A <- -1/2 * (solve(Sigma) - solve(Sigma) %*% (x - mu) %*% t(x - mu) %*% solve(Sigma))
B <- 2 * A - diag(diag(A))

# Verify that the true solution is approximately equal to the finite difference
fin.diff
A * f
B * f