En PCA, lorsque le nombre de dimensions est supérieur (voire égal) au nombre d'échantillons , pourquoi avez-vous au plus vecteurs propres non nuls? En d'autres termes, le rang de la matrice de covariance parmi les dimensions est .
Exemple: Vos échantillons sont des images vectorisées, qui sont de dimension , mais vous n'avez que images.
pca
dimensionality-reduction
eigenvalues
GrokingPCA
la source
la source
Réponses:
Considérez ce que fait PCA. En termes simples, PCA (tel qu'il est généralement exécuté) crée un nouveau système de coordonnées en:
(Pour plus de détails, consultez cet excellent fil de CV: Comprendre l'analyse des composants principaux, les vecteurs propres et les valeurs propres .) Cependant, il ne fait pas simplement pivoter vos axes à l'ancienne. Votre nouveau (le premier composant principal) est orienté dans le sens de variation maximale de vos données. Le deuxième composant principal est orienté dans le sens de la prochaine plus grande variation qui est orthogonale au premier composant principal . Les autres composants principaux sont également formés.X1
la source