Pourquoi la matrice de corrélation doit-elle être positive semi-définie et que signifie-t-elle être ou ne pas être positive semi-définie?

J'ai étudié la signification de la propriété semi-définie positive des matrices de corrélation ou de covariance.

Je cherche des informations sur

Définition de semi-définitif positif;
Ses propriétés importantes, ses implications pratiques;
Conséquence d'avoir un déterminant négatif, impact sur l'analyse multivariée, les résultats de simulation, etc.

covariance-matrix eigenvalues determinant correlation-matrix Melon
la source

Voulez - vous comprendre ce que semi-définitude est , ou voulez - vous savoir pourquoi les matrices de corrélation doivent être semi-définie, ou voulez - vous savoir quels résultats importants sont impliqués par cette propriété?

whuber

Si les matrices de corrélation n'étaient pas semi-positives définies, vous pourriez obtenir des écarts négatifs.

J'ai édité votre question un peu, s'il vous plaît vérifier. Veuillez également noter qu’une matrice avec un nombre pair de valeurs propres négatives aura toujours un déterminant positif.

ttnphns

Une matrice de covariance n'est PAS toujours égale à la matrice de corrélation! La covariance considère les variables normalisées, contrairement à la matrice de corrélation.

Manoj Kumar

Questions connexes: Chaque matrice de covariance est-elle positive définie? considère le cas plus large des matrices de covariance, pour lesquelles les matrices de corrélation constituent un cas particulier; aussi chaque matrice de corrélation positive est-elle semi-définie? et chaque matrice de corrélation est-elle définie positive?

Silverfish

Réponses:

La variance d'une somme pondérée de variables aléatoires doit être non négatif pour tous les choix de nombres réels . Étant donné que la variance peut être exprimée sous la forme $\sum_i a_i X_i$ $a_i$

var (\sum_{i} a_{i} X_{i}) = \sum_{i} \sum_{j} a_{i} a_{j} cov (X_{i}, X_{j}) = \sum_{i} \sum_{j} a_{i} a_{j} Σ_{i, j},

$\operatorname{var}\left(\sum_i a_i X_i\right) = \sum_i \sum_j a_ia_j \operatorname{cov}(X_i,X_j) = \sum_i \sum_j a_ia_j \Sigma_{i,j},$ nous avons que la matrice de covariance

doit être semi - définie positive (qui est parfois appelé non négatif défini). Rappelons que la matrice

est appelé semi - définie positive si et seulement si

Σ = [Σ_{i, j}]

$\Sigma = [\Sigma_{i,j}]$

C

$C$

\sum_{i} \sum_{j} a_{i} a_{j} C_{i, j} \geq 0 \forall a_{i}, a_{j} \in R .

$\sum_i \sum_j a_ia_j C_{i,j} \geq 0 \;\; \forall a_i, a_j \in \mathbb R.$

Dilip Sarwate
la source

Merci, j'ai enlevé mon vote négatif, mais je n'ai pas voté parce qu'il ne répond pas aux implications pratiques. Disons que j'ai une matrice qui n'est pas définie positive (due par exemple à une modification par un "expert"). Que se passerait-il si je l'utilisais pour calibrer et / ou simuler des données? Plus précisément, s’agit-il d’un véritable problème lorsque l’on étudie une somme importante et qu’il n’ya que quelques valeurs propres négatives? Quel serait un algorithme efficace pour transformer une matrice de corrélation semi-définie non positive en une matrice positive semi-définie? Quel serait l'impact de cet algorithme?

lcrmorin

@Were_cat Merci pour l'inversion du vote négatif.

Dilip Sarwate

Pourriez-vous s'il vous plaît expliquer la première égalité dans la première équation?

Vivek Subramanian

@VivekSubramanian Variance est un cas particulier de la fonction de covariance:

et la fonction de covariance est bilinéaire ( ce qui signifie qu'il est une fonction linéaire par rapport à chaque argument:

var (X) = cov (X, X)

$\operatorname{var}(X)=\operatorname{cov}(X,X)$

\begin{aligned} cov (\underset{je}{Σ} {une}_{je} X_{je}, Y) & = \underset{je}{Σ} {une}_{je} cov (X_{je}, Y) \\ cov (X, \underset{je}{Σ} b_{j} Y_{j},) & = \underset{j}{Σ} b_{j} cov (X, Y_{j}) \end{aligned}

$\begin{align}\operatorname{cov}\left(\sum_i a_iX_i,Y\right)&=\sum_i a_i\operatorname{cov}(X_i,Y)\\ \operatorname{cov}\left(X, \sum_i b_jY_j,\right) &=\sum_j b_j \operatorname{cov}(X,Y_j)\end{align}$

Dilip Sarwate

La réponse est assez simple.

La matrice de corrélation est définie ainsi:

Laissez soit la matrice de données : observations, variables. $X = [x_1, x_2, ..., x_n]$ $m\times n$ $m$ $n$

Définir $X_b= [\frac{(x_1-\mu_1 e)}{s_1}, \frac{(x_2-\mu_2 e)}{s_2}, \frac{(x_3-\mu_3 e)}{s_3}, ...]$ $\mu_1$ $\mu_2$ $s_1$ $e$

La matrice de corrélation est alors

C = X_{b}^{'} X_{b}

$C=X_b' X_b$

$A$ $z$ $z' A z <0$

$C$ $w' C w<0$

$(w' C w)=(w' X_b' X_b w)=(X_b w)'(X_b w) = {z_1^2+z_2^2...}$ $z=X_b w$ $w' C w$

$U$ $V' V$

Gregor
la source

C’est de loin la réponse la plus claire, la plus concise et la plus utile. Merci !

Yohan Obadia

(Le possible relâchement dans le raisonnement serait le mien. Je ne suis pas un mathématicien: c'est une représentation, pas une preuve, et provient de mes expériences numériques, pas de livres.)

Une matrice positive semi-définie (psd), également appelée matrice de Gramian, est une matrice sans valeurs propres négatives. La matrice avec des valeurs propres négatives n'est pas positive semi-définie, ni non-Gramian. Les deux peuvent être définis (pas de valeurs propres égales à zéro) ou singuliers (avec au moins une valeur propre égale à zéro). [Le mot "Gramian" est utilisé dans plusieurs sens différents en mathématiques, donc devrait peut-être être évité.]
En statistique, nous appliquons généralement ces termes à une matrice de type SSCP, également appelée matrice de produit scalaire. Les matrices de corrélation ou de covariance sont des cas particuliers d'une telle matrice .
$n$ $p$ $p$ $p$ $n$ $n$ matrice de covariance entre les cas. Lorsque vous le calculez à partir de données réelles, la matrice sera toujours en Gramian. Vous pouvez obtenir une matrice non Gramian (non psd) si (1) il s'agit d'une matrice de similarité mesurée directement (c'est-à-dire non calculée à partir des données) ou si la mesure de similarité n'est pas du type SSCP; (2) les valeurs de la matrice ont été mal entrées; (3) la matrice est en fait de Gramian mais est (ou si proche de l'être) singulière que parfois la méthode spectrale de calcul des valeurs propres produit de minuscules valeurs négatives à la place de valeurs nulles ou positives.
$d_{12}^2 = h_1^2+h_2^2-2s_{12}$ $s$ $h$ $X$ $Y$ $d_{xy}^2 = \sigma_x^2+\sigma_y^2-2cov_{xy}$
$m$ $m$
$m$ $m$ $m$
Quelles sont les causes possibles ou les versions de la configuration non-Gramian (non-euclidienne)? Les réponses suivent lors de la contemplation [point 4].
- $m$ $m$ $d$
- $h$ $d$ $d$ et certains $h$ est donné, l'autre $h$ 's ne doit varier que dans certaines limites afin de rester en accord avec l'espace euclidien. Voir Fig2.
- Cause 3. Il existe une discordance localisée (au niveau des paires) entre un $d$ et la paire de correspondants $h$ est connecté à ces deux points. À savoir, la règle de l' inégalité triangulaire est violée; cette règle exige $h_1+h_2 \ge d_{12} \ge |h_1-h_2|$ . Voir Fig3.
Pour diagnostiquer la cause, convertissez la matrice de covariance non Gramian en matrice de distance en utilisant la loi des cosinus ci-dessus. Faites un double centrage dessus. Si la matrice résultante a des valeurs propres négatives, la cause 1 est présente. Sinon s'il y en a $|cov_{ij}| \gt \sigma_i \sigma_j$ , la cause 3 est présente. Sinon, la cause 2 est présente. Parfois, plusieurs causes s’entendent dans une même matrice.

Fig. 1.

Fig. 1

Fig2.

Fig2

Fig3.

Fig3

tnphns
la source

Le point 6 doit être démontré: vous avez montré qu'une matrice de distances euclidiennes au carré est pd, mais vous affirmez sans preuve que chaque matrice pd correspond à une configuration euclidienne de points. De plus, vous n'avez pas associé votre définition de pd ("pas de valeurs propres négatives") à vos caractérisations ultérieures. L'idée clé vient à la fin (point 8): une matrice pd peut être utilisée pour définir une distance. Logiquement, c'est ici que vous devriez commencer l'analyse.

whuber

@ Whuber: Merci pour cette évaluation critique. J'ai peur, quand il s'agit de prouver mathématiquement quelque chose, je coule. J'ai rapporté une partie de mon expérience pratique (c'est ce que j'ai dit); la réponse n'était pas vraiment une séquence analytique. Ne voudriez-vous pas alors ajouter votre propre réponse qui puisse corriger / améliorer la mienne? Cela pourrait s'avérer une aide précieuse. Ou bien, vous êtes libre de travailler sur mon texte pour l'améliorer si vous le trouvez pas tout à fait inutile.

ttnphns

PS Mon point 8 implique que, puisque le double centrage ancre une configuration de points à son centroïde, cette opération elle-même n'introduit pas de non-euclidité (elle ne produit que la singularité car le nouveau point, centre, appartient au même espace). De là, nous pouvons vérifier si la configuration initiale était euclidienne. N'est-ce pas correct?

ttnphns