Mesure appropriée pour trouver la plus petite matrice de covariance

Dans le manuel que je lis, ils utilisent le caractère définitif positif (caractère semi-positif) pour comparer deux matrices de covariance. L'idée étant que si est pd alors est plus petite que . Mais j'ai du mal à avoir l'intuition de cette relation?$A-B$$B$$A$

Il y a un fil similaire ici:

/math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices

Quelle est l'intuition d'utiliser le caractère définitif pour comparer des matrices?

Bien que les réponses soient agréables, elles ne répondent pas vraiment à l'intuition.

Voici un exemple que je trouve déroutant:

$$\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation}$$

maintenant ici le déterminant de la différence est -25 donc la relation n'est pas pd ou même psd et donc la première matrice n'est pas supérieure à la première?

Je veux simplement comparer deux matrices de covariance 3 * 3 pour voir laquelle est la plus petite? Il me semblerait plus intuitif d'utiliser quelque chose comme la norme euclidienne pour les comparer? Cependant, cela signifierait que la première matrice ci-dessus est supérieure au deuxième matix. De plus, je ne vois que le critère pd / psd utilisé pour comparer les matrices de covariance.

Quelqu'un peut-il expliquer pourquoi pd / psd est meilleur que d'utiliser une autre mesure telle que la norme euclidienne?

J'ai également posté cette question sur le forum mathématique (je ne savais pas ce qui était le mieux), j'espère que cela ne contrevient à aucune règle.

/math/628135/comparing-two-covariance-matrices

L'ordre des matrices auquel vous faites référence est connu sous le nom d' ordre de Loewner et est un ordre partiel très utilisé dans l'étude des matrices définies positives. Un traitement de la géométrie sur la variété de matrices positives-définies (posdef) est ici .

Je vais d'abord essayer de répondre à votre question sur les intuitions . Une matrice (symétrique) $A$ est posdef si $c^T A c\ge 0$ pour tout $c \in \mathbb{R}^n$ . Si $X$ est une variable aléatoire (rv) avec une matrice de covariance $A$ , alors $c^T X$ est (proportionnelle à) sa projection sur un sous-espace unidim, et $\mathbb{Var}(c^T X) = c^T A c$ . Appliquer cela à $A-B$dans votre Q, la première: elle est une matrice de covariance, deuxième: Une variable aléatoire avec une matrice COVARIANCE $B$ projets dans toutes les directions avec une variance inférieure à une va de la matrice de covariance $A$ . Cela rend intuitivement clair que cet ordre ne peut être que partiel, il existe de nombreux VR qui se projetteront dans des directions différentes avec des variations très différentes. Votre proposition d'une norme euclidienne n'a pas une telle interprétation statistique naturelle.

Votre "exemple déroutant" est déroutant car les deux matrices ont un déterminant zéro. Donc pour chacun, il y a une direction (le vecteur propre avec la valeur propre zéro) où ils projettent toujours à zéro . Mais cette direction est différente pour les deux matrices, elles ne peuvent donc pas être comparées.

L'ordre de Loewner est défini de telle sorte que $A \preceq B$ , $B$ est défini plus positif que $A$ , si $B-A$ est posdef. Il s'agit d'un ordre partiel, pour certaines matrices posdef, ni $B-A$ ni $A-B$ sont posdef. Un exemple est:

$$A=\begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}, \quad B= \begin{pmatrix} 0.5 & 0\\ 0 & 1.5 \end{pmatrix}$$ Une façon de le représenter graphiquement est de tracer un tracé avec deux ellipses, mais centré à l'origine, associé de manière standard aux matrices (alors la distance radiale dans chaque direction est proportionnelle à la variance de projetant dans cette direction):

Dans ces cas, les deux ellipses sont congruentes, mais tournent différemment (en fait, l'angle est de 45 degrés). Cela correspond au fait que les matrices $A$ et $B$ ont les mêmes valeurs propres, mais les vecteurs propres tournent.

Comme cette réponse dépend beaucoup des propriétés des ellipses, ce qui suit Quelle est l'intuition derrière les distributions gaussiennes conditionnelles? expliquer les ellipses géométriquement peut être utile.

$A$$Q_A(c) = c^T A c$$A \preceq B$$Q_B$$Q_A$

$$Q_A(c)=1, \quad Q_B(c)=1$$ $A \preceq B$$A \preceq B$$B^{-1} \preceq A^{-1}$

$2\times 2$$a,b$$\lambda_1, \lambda_2$

$$a = \sqrt{1/\lambda_1}, \quad b=\sqrt{1/\lambda_2}.$$ $A$$\pi a b= \pi \sqrt{1/\lambda_1}\sqrt{1/\lambda_2} = \frac{\pi}{\sqrt{\det A}}$

Je vais donner un dernier exemple où les matrices peuvent être commandées:

Dans ce cas, les deux matrices étaient:

$$A =\begin{pmatrix}2/3 & 1/5 \\ 1/5 & 3/4\end{pmatrix}, \quad B=\begin{pmatrix} 1& 1/7 \\ 1/7& 1 \end{pmatrix}$$

@kjetil b halvorsen donne une belle discussion sur l'intuition géométrique derrière la semi-définition positive comme ordre partiel. Je vais donner une vision plus crasseuse de cette même intuition. Celui qui procède des types de calculs que vous aimeriez faire avec vos matrices de variance.

Supposons que vous ayez deux variables aléatoires et . S'ils sont scalaires, alors nous pouvons calculer leurs variances sous forme de scalaires et les comparer de manière évidente en utilisant les nombres réels scalaires et . Donc, si et , nous disons que la variable aléatoire a une variance plus petite que .$x$$y$$V(x)$$V(y)$$V(x)=5$$V(y)=15$$x$$y$

D'un autre côté, si et sont des variables aléatoires à valeur vectorielle (disons qu'elles sont à deux vecteurs), la façon dont nous comparons leurs variances n'est pas si évidente. Disons que leurs variances sont: Comment comparer les variances de ces deux vecteurs aléatoires? Une chose que nous pourrions faire est simplement de comparer les variances de leurs éléments respectifs. Donc, nous pouvons dire que la variance de est plus petite que la variance de en comparant simplement les nombres réels, comme: et$x$$y$

$$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.5 \\ 0.5 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 8 & 3 \\ 3 & 6 \end{array} \right] \end{align}$$ $x_1$$y_1$$V(x_1)=1<8=V(y_1)$$V(x_2)=1<6=V(y_2)$. Donc, on pourrait peut-être dire que la variance de est la variance de si la variance de chaque élément de est la variance de l'élément correspondant de . Ce serait comme dire si chacun des éléments diagonaux de est l'élément diagonal correspondant de .$x$$\le$$y$$x$$\le$$y$$V(x) \le V(y)$$V(x)$$\le$$V(y)$

Cette définition semble raisonnable à première vue. De plus, tant que les matrices de variance que nous considérons sont diagonales (c'est-à-dire que toutes les covariances sont égales à 0), c'est la même chose que d'utiliser la semi-précision. Autrement dit, si les écarts ressemblent à puis en disant est semi-défini positif (c'est-à-dire que ) est identique à dire et . Tout semble bien jusqu'à ce que nous introduisions des covariances. Considérez cet exemple:

$$\begin{align} V(x) = \left[ \begin{array}{c c} V(x_1) & 0 \\ 0 & V(x_2) \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} V(y_1) & 0 \\ 0 & V(y_2) \end{array} \right] \end{align}$$ $V(y)-V(x)$$V(x) \le V(y)$$V(x_1) \le V(y_1)$$V(x_2) \le V(y_2)$ $$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.1 \\ 0.1 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 1 & 0 \\ 0 & 1 \end{array} \right] \end{align}$$ Maintenant, en utilisant une comparaison qui ne considère que les diagonales, nous dirions , et, en effet, il est toujours vrai que élément par élément . Ce qui pourrait nous déranger à ce sujet, c'est que si nous calculons une somme pondérée des éléments des vecteurs, comme et , nous rencontrons alors le fait que même si nous disons .$V(x) \le V(y)$$V(x_k) \le V(y_k)$$3x_1 + 2x_2$$3y_1 + 2y_2$$V(3x_1 + 2x_2) \gt V(3y_1 + 2y_2)$$V(x) \le V(y)$

C'est bizarre, non? Lorsque et sont des scalaires, alors garantit cela pour tout a fixe, non aléatoire , .$x$$y$$V(x) \le V(y)$$a$$V(ax) \le V(ay)$

Si, pour une raison quelconque, nous sommes intéressés par des combinaisons linéaires des éléments des variables aléatoires comme celle-ci, alors nous pourrions vouloir renforcer notre définition de pour les matrices de variance. Peut-être que nous voulons dire si et seulement s'il est vrai que , peu importe les nombres fixes et nous choisissons. Remarquez, c'est une définition plus forte que la définition des diagonales uniquement car si nous choisissons elle dit , et si nous choisissons elle dit .$\le$$V(x) \le V(y)$$V(a_1x_1 + a_2x_2) \le V(a_1y_1 + a_2y_2)$$a_1$$a_2$$a_1=1,a_2=0$$V(x_1) \le V(y_1)$$a_1=0,a_2=1$$V(x_2) \le V(y_2)$

Cette deuxième définition, celle qui dit si et seulement si pour chaque vecteur fixe possible , est la méthode habituelle de comparaison de la variance matrices basées sur une semi- positive: Regardez la dernière expression et la définition de semi-défini positif pour voir que la définition de pour les matrices de variance est choisie exactement pour garantir que si et seulement si pour tout choix de , c'est-à-dire quand est semi positif -précis.$V(x) \le V(y)$$V(a'x) \le V(a'y)$$a$

$$\begin{align} V(a'y) - V(a'x) = a'V(x)a - a'V(y)a = a'\left(V(x) - V(y) \right)a \end{align}$$ $\le$$V(x) \le V(y)$$V(a'x) \le V(a'y)$$a$$\left( V(y)-V(x) \right)$

Donc, la réponse à votre question est que les gens disent qu'une matrice de variance est plus petite qu'une matrice de variance si est semi-définie positive parce qu'ils sont intéressés à comparer les variances des combinaisons linéaires des éléments des vecteurs aléatoires sous-jacents. La définition que vous choisissez suit ce que vous souhaitez calculer et comment cette définition vous aide dans ces calculs.$V$$W$$W-V$