Pourquoi s'embêter avec des approximations de rang bas?

Si vous avez une matrice avec n lignes et m colonnes, vous pouvez utiliser SVD ou d'autres méthodes pour calculer une approximation de bas rang de la matrice donnée.

Cependant, l'approximation de bas rang aura toujours n lignes et m colonnes. Comment les approximations de bas rang peuvent-elles être utiles pour l'apprentissage automatique et le traitement du langage naturel, étant donné que vous vous retrouvez avec le même nombre de fonctionnalités?

Une approximation de bas rang de peut être décomposée en une racine carrée de matrice comme où la décomposition propre de est , réduisant ainsi le nombre de fonctions, qui peut être représenté par sur la base de l'approximation de rang r comme . Notez que l'indice$\hat{X}$$X$$G=U_{r}\lambda_{r}^\frac{1}{2}$$X$$U\lambda U^T$$G$$\hat{X}=GG^T$$r$ représente le nombre de vecteurs propres et de valeurs propres utilisés dans l'approximation. Par conséquent, cela réduit le nombre d'entités pour représenter les données. Dans certains exemples, les approximations de bas rang sont considérées comme des extensions de base ou de variables latentes (dictionnaire) des données originales, sous des contraintes spéciales comme l'orthogonalité, la non-négativité (factorisation matricielle non négative), etc.

Le point d'approximation de bas rang n'est pas nécessairement uniquement pour effectuer une réduction de dimension.

L'idée est que, sur la base de la connaissance du domaine, les données / entrées de la matrice feront en quelque sorte que la matrice soit de bas rang. Mais c'est dans le cas idéal où les entrées ne sont pas affectées par le bruit, la corruption, les valeurs manquantes, etc. La matrice observée aura généralement un rang beaucoup plus élevé.

Une approximation de bas rang est donc un moyen de récupérer la matrice "originale" (la matrice "idéale" avant qu'elle ne soit gâchée par le bruit, etc.) une matrice de bas rang c'est-à-dire trouver la matrice la plus cohérente (en termes d'entrées observées) avec la matrice actuelle et est de faible rang de sorte qu'il peut être utilisé comme approximation de la matrice idéale. Après avoir récupéré cette matrice, nous pouvons l'utiliser comme substitut à la version bruyante et, espérons-le, obtenir de meilleurs résultats.

Deux autres raisons non mentionnées jusqu'à présent:

1. Réduction de la colinéarité. Je pense que la plupart de ces techniques suppriment la colinéarité, ce qui peut être utile pour le traitement ultérieur.

2. Nos imaginations sont de bas rang, donc cela peut être utile pour explorer les relations de bas rang.

$r<m$$r$$m$

Selon les "techniques statistiques multivariées modernes (Izenman)", la régression de rang réduit couvre plusieurs méthodes intéressantes comme cas particuliers, y compris l'ACP, l'analyse factorielle, l'analyse canonique des variables et corrélations, la LDA et l'analyse des correspondances