Matrice de covariance pour le processus gaussien et la distribution de Wishart

Je lis ce document sur les processus Wishart généralisés (GWP). L'article calcule les covariances entre différentes variables aléatoires (suivant le processus gaussien ) en utilisant la fonction de covariance exponentielle au carré, c'est-à-dire . Il indique ensuite que cette matrice de covariance suit le GWP. $K(x,x') = \exp\left(-\frac{|(x-x')|^2}{2l^2}\right)$

Je pensais qu'une matrice de covariance calculée à partir de la fonction de covariance linéaire ( ) $K(x,x') = x^Tx'$ , suit la distribution de Wishart avec les paramètres appropriés.

Ma question est la suivante: comment pouvons-nous encore supposer que la covariance suit une distribution de Wishart avec une fonction de covariance exponentielle au carré? De plus, en général, quelle est la condition nécessaire pour qu'une fonction de covariance produise une matrice de covariance distribuée de Wishart?

machine-learning normal-distribution covariance wishart nonparametric-bayes poisson régulier
la source

Ce qui est mélangé, c'est la spécification de covariance en termes d' espace ambiant sur lequel le processus gaussien est défini, et l'opération qui transforme une variable aléatoire gaussienne de dimension finie pour produire une distribution de Wishart.

Si est une variable aléatoire gaussienne à dimensions (un vecteur de colonne) avec une moyenne de 0 et une matrice de covariance , la distribution de est une distribution Wishart . Notez que est une matrice . Il s'agit d'un résultat général sur la façon dont la forme quadratique transforme une distribution gaussienne en distribution Wishart. Il est valable pour tout choix de matrice de covariance définie positive . Si vous avez des observations iid $\mathbf{X} \sim \mathcal{N}(0, \Sigma)$ $p$ $\Sigma$ $\mathbf{W} = \mathbf{X} \mathbf{X}^T$ $W_p(\Sigma, 1)$ $\mathbf{W}$ $p \times p$

x \mapsto x x^{T}

$\mathbf{x} \mapsto \mathbf{x} \mathbf{x}^T$

Σ

$\Sigma$

X_{1}, \dots, X_{n}

$\mathbf{X}_1, \ldots, \mathbf{X}_n$ puis avec la distribution de est un Wishart -distribution. En divisant par nous obtenons la matrice de covariance empirique une estimation de .

W_{i} = X_{i} X_{i}^{T}

$\mathbf{W}_i = \mathbf{X}_i \mathbf{X}_i^T$

W_{1} + \dots + W_{n}

$\mathbf{W}_{1} + \ldots + \mathbf{W}_n$

W_{p} (Σ, n)

$W_p(\Sigma, n)$

n

$n$

-

$-$

Σ

$\Sigma$

Pour les processus gaussiens il y a un espace ambiant, disons à titre d'illustration qu'il est , de sorte que les variables aléatoires considérées sont indexées par des éléments dans l'espace ambiant. Autrement dit, nous considérons un processus . Il est gaussien (et pour simplifier, ici avec la moyenne 0) si ses distributions marginales dimensionnelles finies sont gaussiennes, c'est-à-dire si pour tous les . Le choix de la fonction de covariance , comme mentionné par l'OP, détermine la matrice de covariance, c'est-à-dire $\mathbb{R}$ $(X(x))_{x \in \mathbb{R}}$

X (x_{1}, \dots, x_{p}) := (X (x_{1}), \dots, X (x_{p}))^{T} \sim N (0, Σ (x_{1}, \dots, x_{p}))

$\mathbf{X}(x_1, \ldots, x_p) := (X(x_1), \ldots, X(x_p))^T \sim \mathcal{N}(0, \Sigma(x_1, \ldots, x_p))$

x_{1}, \dots, x_{p} \in R

$x_1, \ldots, x_p \in \mathbb{R}$

cov (X (x_{i}), X (x_{j})) = Σ (x_{1}, \dots, x_{p})_{i, j} = K (x_{i}, x_{j}) .

$\text{cov}(X(x_i), X(x_j)) = \Sigma(x_1, \ldots, x_p)_{i,j} = K(x_i, x_j).$ Sans tenir compte du choix de la distribution de sera un Wishart -distribution.

K

$K$

X (x_{1}, \dots, x_{p}) X (x_{1}, \dots, x_{p})^{T}

$\mathbf{X}(x_1, \ldots, x_p) \mathbf{X}(x_1, \ldots, x_p)^T$

W_{p} (Σ (x_{1}, \dots, x_{p}), 1)

$W_p(\Sigma(x_1, \ldots, x_p), 1)$

NRH
la source

Merci d'avoir répondu à cela. J'ai quelques questions, reg. votre réponse -Lorsque vous dites que la transformation qui transforme la dist gaussienne en dist de Wishart est valable pour tout choix de matrice cov définie + ve, quels choix de différence avons-nous pour cette matrice cov? Aussi, juste pour clarifier - pour la matrice cov définie par la fonction cov, i et j indiquent des éléments dans l'espace ambiant du processus gaussien (par exemple si c'est un processus temporel alors, les instants temporels t_1 et t_2)?

poisson régulier du

@steadyfish, oui, les indices et réfèrent aux points et dans l'espace ambiant, et pour un processus temporel à deux points temporels. Les matrices de covariance sont toujours positives (semi) définies. La formulation n'était pas destinée à restreindre le résultat de quelque façon que ce soit, mais plutôt à souligner qu'elle vaut pour tout choix de tant que est une matrice de covariance. J'ai laissé de côté la possibilité que puisse être juste semi-défini pour éviter d'encombrer la réponse avec des problèmes non pertinents sur les distributions normales singulières, etc.

i

$i$

j

$j$

x_{i}

$x_i$

x_{j}

$x_j$

Σ

$\Sigma$

-

$-$

Σ

$\Sigma$

Σ

$\Sigma$

NRH

Merci @NRH. J'obtiens le point sur l'espace ambiant. À propos de la matrice de covariance, ma question était de savoir s'il existe un autre moyen de définir la matrice de covariance en dehors de (et non de la propriété définie positive ou semi-définie positive). (J'espère que la question est claire cette fois-ci!)

x^{T} x

$x^{T}x$

regularfish

@steadyfish, oh, je vois. En fait, j'étais bâclé avec les transpositions et si les vecteurs étaient des vecteurs de ligne ou de colonne. J'ai précisé cela maintenant et ajouté un peu sur la relation entre la matrice de covariance empirique et la matrice de covariance théorique. La théorie n'est pas définie en termes d'observations.

NRH

Matrice de covariance pour le processus gaussien et la distribution de Wishart

Réponses: