SVD d'une matrice de données après une projection orthogonale à un sous-espace

Disons que je peux connaître la SVD d'une matrice : $X$

X = U S V^{T}

$X = USV^T$

Si j'ai une matrice orthogonale (c'est-à-dire que est carré et a des colonnes orthonormées), alors la SVD de est $A$ $A$ $XA$

X A = U S W^{T}

$XA = USW^T$ où .

W = A^{T} V

$W = A^TV$

Mais peut-on dire quelque chose sur la SVD de si a des colonnes orthonormées mais n'est pas nécessairement carré? En d'autres termes, si la SVD de est , les matrices , ou peuvent-elles être écrites en termes de SVD de et ? $XB$ $B$ $XB$ $XB = DEF^T$ $D$ $E$ $F$ $X$ $B$

Mise à jour: @whuber suggère que je puisse étendre pour qu'il soit orthogonal en ajoutant des colonnes orthonormales jusqu'à ce que soit carré. Appelez cette matrice orthogonale . $B$ $B$ $\tilde B$

\tilde{B} = [B; B_{⊥}]

$\tilde B = [B; B_{\perp}]$

Je sais que le SVD de est (voir ci-dessus). Mais maintenant , je me bats pour voir s'il y a une façon que je peux écrire le SVD de en termes de SVD de . $X\tilde B$ $US(\tilde B^TV)^T$ $XB$ $X\tilde B$

pca svd matrix-decomposition mobeets
la source

Par exemple, ce n'est pas le cas que la SVD de , c'est ce que nous avons si nous savons que est carré. En effet, n'est pas une matrice carrée, ce qui devrait être vrai pour le SVD. cependant toujours des colonnes orthonormées.

X B = U S (B^{T} V)^{T}

$XB = US(B^TV)^T$

B

$B$

B^{T} V

$B^TV$

B^{T} V

$B^TV$

mobeets

B

$B$ peut être prolongé en attachant des colonnes orthonormales supplémentaires dans une matrice orthogonale (utilisez le processus de Gram-Schmidt, par exemple), réduisant ainsi votre question au premier cas.

whuber

Cool, merci @whuber. Donc , dire est la version orthogonalisée de . Connaître le SVD de me dira-t-il quelque chose sur le SVD de ?

B^{'}

$B'$

B

$B$

X B^{'}

$XB'$

X B

$XB$

mobeets

Écrivez-le et vous verrez à quel point la relation est simple et claire.

whuber

@whuber Je ne peux pas vraiment le voir ... Voici ce que j'ai essayé: Let . Alors .

B^{'} = [B; B_{⊥}]

$B' = [B; B_{\perp}]$

X B^{'} = [X B; X B_{⊥}] = U S (B^{' T} V)^{T} = U S ([\begin{matrix} B^{T} \\ B_{⊥}^{T} \end{matrix}] V)^{T} = U S {[\begin{matrix} B^{T} V \\ B_{⊥}^{T} V \end{matrix}]}^{T}

$XB' = [XB; XB_{\perp}] = US(B'^TV)^T = US(\left[\begin{matrix}B^T \\ B_{\perp}^T\end{matrix}\right]V)^T = US\left[\begin{matrix}B^TV \\ B_{\perp}^TV\end{matrix}\right]^T$

mobeets

Réponses:

Dans le SVD , où est une matrice , est une matrice orthogonale . $X = USV^\prime$ $X$ $n\times p$ $V$ $p\times p$

Supposons que soit une matrice orthogonale : c'est-à-dire . Laisser $B$ $p\times q$ $B^\prime B = 1_q$

\begin{matrix} (1) & S V^{'} B = T D W^{'} \end{matrix}

$S V^\prime B = TDW^\prime\tag{1}$

être un SVD de . Ainsi, par définition, est une matrice , est une matrice diagonale de dimension et est une matrice orthogonale . $S V^\prime B$ $T$ $p\times q$ $D$ $q$ $W$ $q\times q$

Calculer

\begin{matrix} (2) & X B = (U S V^{'}) B = U (S V^{'} B) = U (T D W^{'}) = (U T) D (W^{'}) . \end{matrix}

$XB = (USV^\prime) B = U(SV^\prime B) = U(TDW^\prime) = (UT)D(W^\prime).\tag{2}$

Parce que , a des colonnes orthonormées. Parce que et font partie d'une SVD, alors par définition est diagonal avec des entrées non négatives et est une matrice orthogonale . Par conséquent, l' équation donne une SVD de . L' équation montre comment cette SVD est apparentée à celle de et . $(UT)^\prime (UT) = T^\prime (U^\prime U) T = T^\prime T = 1_q$ $UT$ $D$ $W^\prime$ $D$ $W$ $q\times q$ $(2)$ $XB$ $(1)$ $X$ $B$

whuber
la source

Merci d'avoir répondu. Bien qu'il semble que ce soit un moyen de trouver le SVD de

X B

$XB$ via le calcul de la SVD de

S V^{'} B

$SV'B$ , au lieu d'utiliser uniquement le SVD de

X

$X$ . J'espérais savoir s'il y avait un moyen de trouver le SVD de

X B

$XB$ sans avoir à calculer des SVD supplémentaires, comme cela est possible lorsque

B

$B$ est carré.

mobeets

Pour une matrice $B$ avec des colonnes orthonormées (mais pas carrées), je voudrais un moyen de trouver un SVD de $XB$ en termes de SVD de $X = USV^T$ .

Comme suggéré par @whuber, une première étape vers la recherche de la SVD de $XB$ consiste à ajouter des colonnes à $B$ pour le rendre carré (et donc orthogonal). Appelez cette matrice $\tilde B = [B; B_{\perp}]$ et laissez $k$ être le nombre de colonnes de $B_{\perp}$ . Ensuite parce que $\tilde B$ est orthogonal, si $X = USV^T$ est un SVD de $X$ , puis $X\tilde B = US(\tilde B^TV)^T$ est un SVD de $X \tilde B$ .

Parce que $XB$ peut être obtenu auprès de $X\tilde B$ en laissant tomber le dernier $k$ colonnes, mon problème d'origine se réduit maintenant à ce qui suit: Étant donné la SVD d'une matrice $Y = DEF^T$ , existe-t-il un moyen de trouver la SVD de $Y' = D'E'F'^T$ , où $Y'$ est la matrice résultant de l'abandon du dernier $k$ colonnes de $Y$ ? (Ici j'ai $Y = X\tilde B$ et $Y' = XB$ .)

Ce problème est appelé «mise à jour de la SVD», et en général, il semble y avoir de nombreuses approches pour ce faire. Une approche pertinente se trouve ici , et plus de discussion ici .

Mais en général, étant donné que les algorithmes pour rétrograder la SVD semblent être un domaine de recherche active, je conclus qu'il n'y a pas de moyen simple de trouver la SVD de $XB$ étant donné uniquement la SVD de $X$ .

mobeets
la source

+1. Je pense que vous identifiez correctement le problème: il n'y a pas de méthode "simple". Je trouve cela plutôt intuitif si vous considérez un simple exemple de jouet: par exemple un nuage de données 2D allongé dans la direction diagonale. Les deux vecteurs singuliers originaux sont diagonaux. La multiplication de la matrice de données par une matrice orthogonale carrée fait simplement tourner l'ensemble du nuage, de sorte que les vecteurs singuliers restent les mêmes, jusqu'à la rotation. Mais la projection du nuage de données par exemple sur la ligne horizontale (sous-espaces 1D) changera complètement sa forme; maintenant le seul vecteur singulier est horizontal. Les nouveaux vecteurs singuliers ne sont pas liés aux anciens.

amibe

C'est une excellente explication intuitive de la différence. Au début, je trouvais assez troublant qu'il puisse y avoir une relation aussi simple pour les matrices orthogonales, mais plus une fois que vous supprimez une seule colonne de cette matrice. Mais tout cela a du sens maintenant. Merci!

mobeets

Je suis d'accord. Quand j'ai lu votre post pour la première fois, j'ai pensé: quelle question naïve! :-) clairement il suffit de faire tourner les vecteurs singuliers (avec une matrice "étendue" pour être une matrice de rotation, comme l'a écrit whuber) puis d'en déposer certains (correspondant à la partie "étendue"). Mais c'est bien sûr faux.

amoeba