Pourquoi l'inversion d'une matrice de covariance donne-t-elle des corrélations partielles entre variables aléatoires?

J'ai entendu dire que l'on pouvait trouver des corrélations partielles entre des variables aléatoires en inversant la matrice de covariance et en prenant les cellules appropriées à partir de cette matrice de précision résultante (ce fait est mentionné dans http://en.wikipedia.org/wiki/Partial_correlation , mais sans preuve). .

pourquoi est-ce le cas?

covariance covariance-matrix linear-algebra partial-correlation matrix-inverse michal
la source

Si vous voulez obtenir une corrélation partielle dans une cellule contrôlée pour toutes les autres variables, le dernier paragraphe ici peut nous éclairer.

ttnphns

Réponses:

Quand une variable aléatoire multivariée a une matrice de covariance non dégénérée , l’ensemble de toutes les combinaisons linéaires réelles des forme un espace vectoriel réel de dimension avec la base $(X_1,X_2,\ldots,X_n)$ $\mathbb{C} = (\gamma_{ij}) = (\text{Cov}(X_i,X_j))$ $X_i$ $n$ et un produit interne non dégénéré donné par $E=(X_1,X_2,\ldots, X_n)$

⟨ X_{i}, X_{j} ⟩ = γ_{i j} .

$\langle X_i,X_j \rangle = \gamma_{ij}\ .$

Sa base double par rapport à ce produit scalaire , , est défini de manière unique par les relations $E^{*} = (X_1^{*},X_2^{*}, \ldots, X_n^{*})$

⟨ X_{i}^{*}, X_{j} ⟩ = δ_{i j},

$\langle X_i^{*}, X_j \rangle = \delta_{ij}\ ,$

le delta de Kronecker (égal à lorsque et à sinon). $1$ $i=j$ $0$

La double base est intéressante ici parce que la corrélation partielle de et est obtenue en tant que corrélation entre la partie de qui est laissée après l'avoir projetée dans l'espace parcouru par tous les autres vecteurs (appelons simplement cela " résiduel ", ) et la partie comparable de , son résidu . Pourtant, est un vecteur orthogonal à tous les vecteurs autres que et a un produit interne positif avec où $X_i$ $X_j$ $X_i$ $X_{i\circ}$ $X_j$ $X_{j\circ}$ $X_i^{*}$ $X_i$ $X_i$ doit être un multiple non négatif de , etmême pour . Laissez-nous donc écrire $X_{i\circ}$ $X_i^{*}$ $X_j$

X_{i \circ} = λ_{i} X_{i}^{*}, X_{j \circ} = λ_{j} X_{j}^{*}

$X_{i\circ} = \lambda_i X_i^{*},\ X_{j\circ} = \lambda_j X_j^{*}$

pour les nombres réels positifs et . $\lambda_i$ $\lambda_j$

La corrélation partielle est le produit scalaire normalisé des résidus, qui reste inchangé par le rééchelonnement:

ρ_{i j \circ} = \frac{⟨ X_{i \circ}, X_{j \circ} ⟩}{\sqrt{⟨ X_{i \circ}, X_{i \circ} ⟩ ⟨ X_{j \circ}, X_{j \circ} ⟩}} = \frac{λ_{i} λ_{j} ⟨ X_{i}^{*}, X_{j}^{*} ⟩}{\sqrt{λ_{i}^{2} ⟨ X_{i}^{*}, X_{i}^{*} ⟩ λ_{j}^{2} ⟨ X_{j}^{*}, X_{j}^{*} ⟩}} = \frac{⟨ X_{i}^{*}, X_{j}^{*} ⟩}{\sqrt{⟨ X_{i}^{*}, X_{i}^{*} ⟩ ⟨ X_{j}^{*}, X_{j}^{*} ⟩}} .

$\rho_{ij\circ} = \frac{\langle X_{i\circ}, X_{j\circ} \rangle}{\sqrt{\langle X_{i\circ}, X_{i\circ} \rangle\langle X_{j\circ}, X_{j\circ} \rangle}} = \frac{\lambda_i\lambda_j\langle X_{i}^{*}, X_{j}^{*} \rangle}{\sqrt{\lambda_i^2\langle X_{i}^{*}, X_{i}^{*} \rangle\lambda_j^2\langle X_{j}^{*}, X_{j}^{*} \rangle}} = \frac{\langle X_{i}^{*}, X_{j}^{*} \rangle}{\sqrt{\langle X_{i}^{*}, X_{i}^{*} \rangle\langle X_{j}^{*}, X_{j}^{*} \rangle}}\ .$

(Dans les deux cas, la corrélation partielle sera égale à zéro chaque fois que les résidus sont orthogonaux, qu'ils soient non nuls ou non.)

Nous devons trouver les produits intérieurs des éléments de base doubles. À cette fin, développez les éléments de base doubles par rapport à la base d'origine : $E$

X_{i}^{*} = \sum_{j = 1}^{n} β_{i j} X_{j} .

$X_i^{*} = \sum_{j=1}^n \beta_{ij} X_j\ .$

Puis par définition

δ_{i k} = ⟨ X_{i}^{*}, X_{k} ⟩ = \sum_{j = 1}^{n} β_{i j} ⟨ X_{j}, X_{k} ⟩ = \sum_{j = 1}^{n} β_{i j} γ_{j k} .

$\delta_{ik} = \langle X_i^{*}, X_k \rangle = \sum_{j=1}^n \beta_{ij}\langle X_j, X_k \rangle = \sum_{j=1}^n \beta_{ij}\gamma_{jk}\ .$

En notation matricielle avec la matrice identité et la matrice de changement de base, cela indique $\mathbb{I} = (\delta_{ij})$ $\mathbb{B} = (\beta_{ij})$

I = B C .

$\mathbb{I} = \mathbb{BC}\ .$

C’est-à-dire que correspond exactement à ce que dit l’article de Wikipedia. La formule précédente pour la corrélation partielle donne $\mathbb{B} = \mathbb{C}^{-1}$

ρ_{i j \cdot} = \frac{β_{i j}}{\sqrt{β_{i i} β_{j j}}} = \frac{C_{i j}^{- 1}}{\sqrt{C_{i i}^{- 1} C_{j j}^{- 1}}} .

$\rho_{ij\cdot} = \frac{\beta_{ij}}{\sqrt{\beta_{ii} \beta_{jj}}} = \frac{\mathbb{C}^{-1}_{ij}}{\sqrt{\mathbb{C}^{-1}_{ii} \mathbb{C}^{-1}_{jj}}}\ .$

whuber
la source

+1, bonne réponse. Mais pourquoi appelez-vous cette double base «double base en ce qui concerne ce produit intérieur» - que signifie exactement «en ce qui concerne ce produit intérieur»? Il semble que vous utilisez le terme « double base » tel que défini ici mathworld.wolfram.com/DualVectorSpace.html au deuxième alinéa ( «Étant donné une base espace vectoriel

pour

il existe une base double ... ") ou ici en.wikipedia.org/wiki/Dual_basis , et il est indépendant de tout produit scalaire.

v_{1}, . . ., v_{n}

$v_1, ..., v_n$

V

$V$

amibe dit de réintégrer Monica

@ amoeba Il existe deux types de duels. Le (naturel) double d'un espace vectoriel

sur un champ

est l'ensemble des fonctions linéaires

, appelé

. Il n'y a pas de manière canonique pour identifier

avec

, même si elles ont la même dimension lorsque

est de dimension finie. Tout produit intérieur

correspond à une telle carte

, et inversement , via

V

$V$

R

$R$

ϕ : V \to R

$\phi:V\to R$

V^{*}

$V^*$

V^{*}

$V^*$

V

$V$

V

$V$

γ

$\gamma$

g : V \to V^{*}

$g:V\to V^*$

(La non-dégénérescence de

garantit que

est un isomorphisme d'espace vectoriel.) Cela permet de visualiser les éléments de

comme s'ils étaient des éléments du dual

mais cela dépend de

g (v) (w) = γ (v, w) .

$g(v)(w)=\gamma(v,w).$

γ

$\gamma$

g

$g$

V

$V$

V^{*}

$V^*$

γ

$\gamma$

whuber

@mpettis Ces points étaient difficiles à remarquer. Je les ai remplacés par de petits cercles ouverts pour faciliter la lecture de la notation. Merci de l'avoir signalé.

whuber

Les réponses aux questions complexes d' Andy Ron Christensen peuvent être le genre de chose que vous recherchez. Malheureusement, son approche repose (à mon humble avis) sur des arguments et des calculs de coordonnées. Dans l’introduction originale (voir p. Xiii), Christensen explique que c’est pour des raisons pédagogiques.

whuber

@ Whuber, votre preuve est géniale. Je me demande si un livre ou un article contient une telle preuve que je puisse citer.

Harry

Voici une preuve avec juste des calculs matriciels.

J'apprécie la réponse de Whuber. C'est très perspicace sur le calcul derrière la scène. Cependant, comment utiliser sa réponse pour obtenir le signe moins dans la formule indiquée dans wikipedia Partial_correlation # Using_matrix_inversion n’est toujours pas si trivial .

ρ_{X_{i} X_{j} \cdot V ∖ {X_{i}, X_{j}}} = - \frac{p_{i j}}{\sqrt{p_{i i} p_{j j}}}

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = - \frac{p_{ij}}{\sqrt{p_{ii}p_{jj}}}$

Pour obtenir ce signe moins, voici une preuve différente trouvée dans «Graphical Models Lauriten 1995 Page 130». Cela se fait simplement par des calculs matriciels.

{(\begin{matrix} A & B \\ C & D \end{matrix})}^{- 1} = (\begin{matrix} E^{- 1} & - E^{- 1} G \\ - F E^{- 1} & D^{- 1} + F E^{- 1} G \end{matrix})

$\begin{pmatrix} A & B \\ C & D \end{pmatrix}^{-1} = \begin{pmatrix} E^{-1} & -E^{-1}G \\ -FE^{-1} & D^{-1}+FE^{-1}G \end{pmatrix}$

E = A - B D^{- 1} C

$E = A - BD^{-1}C$

F = D^{- 1} C

$F = D^{-1}C$

G = B D^{- 1}

$G = BD^{-1}$

Ω = (\begin{matrix} Ω_{11} & Ω_{12} \\ Ω_{21} & Ω_{22} \end{matrix})

$\Omega = \begin{pmatrix} \Omega_{11} & \Omega_{12} \\ \Omega_{21} & \Omega_{22} \end{pmatrix}$

Ω_{11}

$\Omega_{11}$

(X_{i}, X_{j})

$(X_i, X_j)$

Ω_{22}

$\Omega_{22}$

V ∖ {X_{i}, X_{j}}

$\mathbf{V} \setminus \{X_i, X_j \}$

Soit . De même, écrivez comme $P = \Omega^{-1}$ $P$

P = (\begin{matrix} P_{11} & P_{12} \\ P_{21} & P_{22} \end{matrix})

$P = \begin{pmatrix} P_{11} & P_{12} \\ P_{21} & P_{22} \end{pmatrix}$

Par l'identité de la matrice de clés,

P_{11}^{- 1} = Ω_{11} - Ω_{12} Ω_{22}^{- 1} Ω_{21}

$P_{11}^{-1} = \Omega_{11} - \Omega_{12}\Omega_{22}^{-1}\Omega_{21}$

$\Omega_{11} - \Omega_{12}\Omega_{22}^{-1}\Omega_{21}$ $(X_i, X_j) | \mathbf{V} \setminus \{X_i, X_j\}$

ρ_{X_{i} X_{j} \cdot V ∖ {X_{i}, X_{j}}} = \frac{[P_{11}^{- 1}]_{12}}{\sqrt{[P_{11}^{- 1}]_{11} [P_{11}^{- 1}]_{22}}} .

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = \frac{[P_{11}^{-1}]_{12}}{\sqrt{[P_{11}^{-1}]_{11}[P_{11}^{-1}]_{22}}}.$

(k, l)

$(k,l)$

M

$M$

[M]_{k l}

$[M]_{kl}$

(\begin{matrix} [P_{11}^{- 1}]_{11} & [P_{11}^{- 1}]_{12} \\ [P_{11}^{- 1}]_{21} & [P_{11}^{- 1}]_{22} \end{matrix}) = P_{11}^{- 1} = \frac{1}{det P_{11}} (\begin{matrix} [P_{11}]_{22} & - [P_{11}]_{12} \\ - [P_{11}]_{21} & [P_{11}]_{11} \end{matrix})

$\begin{pmatrix} [P_{11}^{-1}]_{11} & [P_{11}^{-1}]_{12} \\ [P_{11}^{-1}]_{21} & [P_{11}^{-1}]_{22} \\ \end{pmatrix} = P_{11}^{-1} = \frac{1}{\text{det} P_{11}} \begin{pmatrix} [P_{11}]_{22} & -[P_{11}]_{12} \\ -[P_{11}]_{21} & [P_{11}]_{11} \\ \end{pmatrix}$

ρ_{X_{i} X_{j} \cdot V ∖ {X_{i}, X_{j}}} = \frac{[P_{11}^{- 1}]_{12}}{\sqrt{[P_{11}^{- 1}]_{11} [P_{11}^{- 1}]_{22}}} = \frac{- \frac{1}{det P_{11}} [P_{11}]_{12}}{\sqrt{\frac{1}{det P_{11}} [P_{11}]_{22} \frac{1}{det P_{11}} [P_{11}]_{11}}} = \frac{- [P_{11}]_{12}}{\sqrt{[P_{11}]_{22} [P_{11}]_{11}}}

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = \frac{[P_{11}^{-1}]_{12}}{\sqrt{[P_{11}^{-1}]_{11}[P_{11}^{-1}]_{22}}} = \frac{- \frac{1}{\text{det}P_{11}}[P_{11}]_{12}}{\sqrt{\frac{1}{\text{det}P_{11}}[P_{11}]_{22}\frac{1}{\text{det}P_{11}}[P_{11}]_{11}}} = \frac{-[P_{11}]_{12}}{\sqrt{[P_{11}]_{22}[P_{11}]_{11}}}$

Po C.
la source

Si nous laissons i=j, alors rho_ii V\{X_i, X_i} = -1, comment interprétons-nous ces éléments diagonaux dans la matrice de précision?

Jason

Bon point. La formule ne devrait être valable que pour i = / = j. De la preuve, le signe moins provient de l'inversion de la matrice 2 sur 2. Cela ne se produirait pas si i = j.

Po C.

Ainsi, les nombres diagonaux ne peuvent pas être associés à une corrélation partielle. Que représentent-ils? Ce ne sont pas juste des inverses des variances, n'est-ce pas?

Jason

Cette formule est valable pour i = / = j. Cela n'a pas de sens pour i = j.

Po C.

$X_i$ $X_j$ $n - 1$ $X_i$ $X_j$ $n - 2$ $\epsilon_i$ $\epsilon_j$ $\rho$ $\epsilon_i$ $\epsilon_j$ $-\rho$

Cela explique la confusion dans les commentaires ci-dessus, ainsi que sur Wikipedia. La deuxième définition est utilisée universellement d'après ce que je peux dire, il devrait donc y avoir un signe négatif.

J'ai initialement posté une modification sur l'autre réponse, mais j'ai commis une erreur - désolée pour ça!

Johnny Ho
la source