Pourquoi utilisons-nous PCA pour accélérer les algorithmes d'apprentissage alors que nous pourrions simplement réduire le nombre de fonctionnalités?

Dans un cours de machine learning, j'ai appris qu'une utilisation courante de PCA ( Principal Component Analysis ) est d'accélérer d'autres algorithmes de machine learning. Par exemple, imaginez que vous entraînez un modèle de régression logistique. Si vous avez un ensemble d'apprentissage pour i de 1 à n et qu'il s'avère que la dimension de votre vecteur x est très grande (disons une dimension), vous peut utiliser PCA pour obtenir une dimension plus petite (disons k dimensions) vecteur de fonctionnalité z. Ensuite, vous pouvez entraîner votre modèle de régression logistique sur l'ensemble d'apprentissage pour i de 1 à n. La formation de ce modèle sera plus rapide car votre vecteur d'entités a moins de dimensions.( z ( i ) , y ( i )$(x^{(i)},y^{(i)})$$(z^{(i)},y^{(i)})$

Cependant, je ne comprends pas pourquoi vous ne pouvez pas simplement réduire la dimension de votre vecteur d'entités à k dimensions en choisissant simplement k de vos entités au hasard et en éliminant le reste.

Les vecteurs z sont des combinaisons linéaires de vos vecteurs de caractéristiques a. Étant donné que les vecteurs z sont limités à une surface de dimension k, vous pouvez écrire les ak valeurs d'élément supprimées en tant que fonction linéaire des k valeurs d'entité restantes, et ainsi tous les z peuvent être formés par des combinaisons linéaires de vos k entités. Un modèle formé sur un ensemble d'entraînement avec des fonctionnalités éliminées ne devrait-il pas avoir la même puissance qu'un modèle formé sur un ensemble d'entraînement dont la dimension a été réduite par l'ACP? Cela dépend-il uniquement du type de modèle et s'il s'appuie sur une sorte de combinaison linéaire?

Supposons que vous disposiez initialement de fonctions, mais c'est trop, vous devez donc adapter votre modèle aux fonctionnalités . Vous pouvez choisir de vos fonctionnalités et supprimer le reste. Si est notre matrice d'entités, cela correspond à l'utilisation de où sélectionne exactement les colonnes de que nous voulons inclure. Mais cela ignore toutes les informations dans les autres colonnes, alors pourquoi ne pas envisager une réduction de dimension plus générale où ? C'est exactement ce que fait PCA: on trouve la matrice telle qued < p d X X D D ∈ { 0 , 1 } p × d X X V V ∈ R p × $p$$d < p$$d$$X$$XD$$D \in \{0,1\}^{p \times d}$$X$$XV$$V \in \mathbb R^{p \times d}$X V X X d p $V$$XV$contient autant d'informations que possible dansToutes les combinaisons linéaires ne sont pas créées de manière égale. À moins que notre matrice soit si faible qu'un ensemble aléatoire de colonnes puisse (avec une probabilité élevée) s'étendre sur l'espace des colonnes de toutes les colonnes, nous ne serons certainement pas en mesure de le faire aussi bien qu'avec toutes les fonctionnalités . Certaines informations seront perdues, et il nous appartient donc de perdre le moins d'informations possible. Avec PCA, les "informations" que nous essayons d'éviter de perdre sont la variation des données.$X$$X$$d$$p$$p$

Quant à savoir pourquoi nous nous limitons aux transformations linéaires des prédicteurs, tout l'intérêt de ce cas d'utilisation est le temps de calcul. Si nous pouvions faire une réduction de dimension non linéaire sophistiquée sur nous pourrions probablement juste adapter le modèle à tout également. PCA se situe donc parfaitement à l'intersection de la rapidité de calcul et de l'efficacité.$X$$X$

PCA réduit les fonctionnalités tout en préservant la variance / information dans les données d'origine. Cela permet d'activer le calcul sans perdre la ressemblance des données avec la réalité.

Solution PCA

Tout d'abord, méfiez-vous lorsque vous utilisez PCA à cette fin. Comme je l'ai écrit en réponse à une question connexe, l' ACP ne conduit pas nécessairement à une sélection de caractéristiques informatives pour la régression que vous avez l'intention de faire (voir également Jolliffe 1982 ).

OP solution proposée

reduce the dimension of your feature vector to k dimensions by just choosing k of your features at random and eliminating the rest.dimension of your vector x is very large$p$

$pCk$$k$$p$$p=1000$$k=5$$\approx 8.25 \times 10^{12}$$k=5$$k=6$$p$

Solution suggérée

$p$