PCA, LDA, CCA et PLS

26

Quel est le lien entre PCA, LDA, CCA et PLS? Ils semblent tous "spectraux" et algébriques linéaires et très bien compris (disons plus de 50 ans de théorie construits autour d'eux). Ils sont utilisés pour des choses très différentes (PCA pour la réduction de la dimensionnalité, LDA pour la classification, PLS pour la régression) mais ils se sentent toujours très étroitement liés.

pca discriminant-analysis partial-least-squares canonical-correlation carlosdc
la source
3
En plus de la belle référence dans la réponse ci-dessous, vous pouvez également lire Borga et al., 1997, A Unified Approach to PCA, PLS, MLR et CCA .
amibe dit Réintégrer Monica

Réponses:

25

Tijl De Bie a écrit un chapitre intéressant " Eigenproblems in Pattern Recognition " qui parle exactement de ceux-ci d'un point de vue primal / dual. Les trois tableaux à la fin résument très bien du point de vue de l'optimisation:

Tableau 1

Tableau 2

Tableau 3

tdc
la source