Pourquoi une matrice de covariance d'échantillon est-elle singulière lorsque la taille de l'échantillon est inférieure au nombre de variables?

Disons que j'ai une distribution gaussienne multivariée à dimensions. Je suppose observations (chacun d'eux un -vector) à partir de cette distribution et calculer la matrice de covariance d'échantillon . Dans cet article , les auteurs déclarent que la matrice de covariance de l'échantillon calculée avec est singulière.n p S p > $p$$n$$p$$S$$p > n$

• Comment est-ce vrai ou dérivé?
• Des explications?

Quelques faits sur les rangs matriciels, proposés sans preuve (mais les preuves de tous ou presque tous doivent être données dans des textes d'algèbre linéaire standard, ou dans certains cas, être définies comme des exercices après avoir donné suffisamment d'informations pour pouvoir le faire):

Si et B sont deux matrices conformables, alors:$A$$B$

(i) rang de colonne de = rang de ligne de $A$$A$

(ii) $\text{rank}(A) = \text{rank}(A^T) = \text{rank}(A^TA) = \text{rank}(AA^T)$

(iii) $\text{rank}(AB)\leq \min(\text{rank}(A),\text{rank}(B))$

(iv) $\text{rank}(A+B) \leq \text{rank}(A) + \text{rank}(B)$

(v) si est une matrice carrée de rang complet, alors rang ( A B ) = rang ( A $B$$\text{rank}(AB) = \text{rank}(A)$

Considérons la matrice des données d'échantillon, y . D'après ce qui précède, le rang de y est au plus min ( n , p ) .$n\times p$$y$$y$$\min(n,p)$

De plus, de ce qui précède, le rang de ne sera clairement pas plus grand que le rang de y (en considérant le calcul de S sous forme matricielle, avec peut-être une simplification).$S$$y$$S$

Si alors rang ( y ) < p auquel cas rang ( S ) < p .$n<p$$\text{rank}(y)<p$$\text{rank}(S)<p$

La réponse courte à votre question est que le rang . Donc si p > n , alors S est singulier.$(S) \le n - 1$$p > n$$S$

Pour une réponse plus détaillée, rappelez-vous que la matrice de covariance d'échantillon (non biaisée) peut s'écrire

En effet, nous sommons matrices, chacune ayant un rang de 1. En supposant que les observations sont linéairement indépendantes, dans un certain sens, chaque observation x i contribue 1 au rang ( S ) , et un 1 est soustrait du rang (si p > n ) car nous centrons chaque observation sur ˉ x . Cependant, si la multicolinéarité est présente dans les observations, alors le rang ( S ) peut être réduit, ce qui explique pourquoi le rang peut être inférieur à n - 1 .$n$$x_i$$(S)$$p > n$$\bar{x}$$(S)$$n - 1$

Une grande quantité de travail a été consacrée à l'étude de ce problème. Par exemple, un de mes collègues et moi avons écrit un article sur ce même sujet, où nous voulions déterminer comment procéder si est singulier lorsqu'il est appliqué à une analyse discriminante linéaire dans le paramètre p ≫ n .$S$$p \gg n$

Lorsque vous regardez la situation dans le bon sens, la conclusion est intuitivement évidente et immédiate.

Ce billet propose deux démonstrations. Le premier, juste en dessous, est en mots. Il équivaut à un simple dessin, apparaissant à la toute fin. Entre les deux, une explication de la signification des mots et du dessin.

La matrice de covariance pour observations à p variables est une matrice p × p calculée en multipliant à gauche une matrice X n p (les données recentrées) par sa transposition X ′ p n . Ce produit de matrices envoie des vecteurs à travers un pipeline d'espaces vectoriels dans lesquels les dimensions sont p et n . Par conséquent , la matrice de covariance, en tant linéaire transformation, enverra R n dans un sous - espace dont la dimension est au plus min ( p , n ) .$n$ $p$$p\times p$$\mathbb{X}_{np}$$\mathbb{X}_{pn}^\prime$$p$$n$$\mathbb{R}^n$$\min(p,n)$Il est immédiat que le rang de la matrice de covariance n'est pas supérieur à . $\min(p,n)$ Par conséquent, si alors le rang est au plus n , ce qui - étant strictement inférieur à p - signifie que la matrice de covariance est singulière.$p\gt n$$n$$p$

Toute cette terminologie est entièrement expliquée dans la suite de cet article.

(Comme Amoeba l'a gentiment souligné dans un commentaire maintenant supprimé, et le montre dans une réponse à une question connexe , l'image de se trouve en fait dans un sous-espace codimensionnel de R n (composé de vecteurs dont les composantes totalisent zéro) parce que son les colonnes ont toutes été recentrées à zéro. Par conséquent, le rang de la matrice de covariance de l'échantillon $\mathbb X$$\mathbb{R}^n$ne peut pas dépassern-1.)$\frac{1}{n-1}\mathbb{X}^\prime \mathbb{X}$$n-1$

L'algèbre linéaire consiste à suivre les dimensions des espaces vectoriels. Il suffit d'apprécier quelques concepts fondamentaux pour avoir une intuition profonde des assertions sur le rang et la singularité:

1. La multiplication matricielle représente les transformations linéaires des vecteurs. Une matrice M représente une transformation linéaire d'un espace à n dimensions V n en un espace à m dimensions V m . Plus précisément, il envoie tout x ∈ V n à M x = y ∈ V m . Le fait qu'il s'agisse d'une transformation linéaire découle immédiatement de la définition de la transformation linéaire et des propriétés arithmétiques de base de la multiplication matricielle.$m\times n$$\mathbb{M}$$n$$V^n$$m$$V^m$$x\in V^n$$\mathbb{M}x = y \in V^m$

2. Les transformations linéaires ne peuvent jamais augmenter les dimensions. Cela signifie que l'image de tout l'espace vectoriel sous la transformation M (qui est un espace sous-vectoriel de V m ) peut avoir une dimension non supérieure à n . Il s'agit d'un théorème (facile) qui découle de la définition de la dimension.$V^n$$\mathbb M$$V^m$$n$

3. La dimension d'un espace sous-vectoriel ne peut pas dépasser celle de l'espace dans lequel il se trouve. C'est un théorème, mais encore une fois, il est évident et facile à prouver.

4. Le rang d'une transformation linéaire est la dimension de son image. Le rang d'une matrice est le rang de la transformation linéaire qu'elle représente. Ce sont des définitions.

5. Une matrice singulière a un rang strictement inférieur à $\mathbb{M}_{mn}$$n$ (la dimension de son domaine). En d'autres termes, son image a une dimension plus petite. Ceci est une définition.

Pour développer l'intuition, il permet de voir les dimensions. Je vais donc écrire les dimensions de tous les vecteurs et matrices immédiatement après, comme dans et x n . Ainsi, la formule générique$\mathbb{M}_{mn}$$x_n$

signifie que la matrice M , lorsqu'elle est appliquée au n- vecteur x , produit un m- vecteur y .$m\times n$$\mathbb M$$n$$x$$m$$y$

Les produits des matrices peuvent être considérés comme un «pipeline» de transformations linéaires. Génériquement, supposons est un un vecteur de dimension résultant des applications successives de la transformation linéaire M m n , L l m , ... , B b c , et A a b la n -vector x n provenant de l'espace V n . Cela prend le vecteur x n successivement à travers un ensemble d'espaces vectoriels de dimensions $y_a$$a$$\mathbb{M}_{mn}, \mathbb{L}_{lm}, \ldots, \mathbb{B}_{bc},$$\mathbb{A}_{ab}$$n$$x_n$$V^n$$x_n$ et enfin un .$m, l, \ldots, c, b,$$a$

Recherchez le goulot d'étranglement : parce que les dimensions ne peuvent pas augmenter (point 2) et que les sous-espaces ne peuvent pas avoir des dimensions plus grandes que les espaces dans lesquels ils se trouvent (point 3), il s'ensuit que la dimension de l'image de ne peut pas dépasser la plus petite dimension min ( a , b , c , … , l , m , n ) rencontrés dans le pipeline.$V^n$$\min(a,b,c,\ldots,l,m,n)$

Ce schéma du pipeline prouve alors pleinement le résultat lorsqu'il est appliqué au produit :$\mathbb{X}^\prime \mathbb{X}$