Je lis cet article sur la différence entre l'analyse en composantes principales et l'analyse discriminante multiple (analyse discriminante linéaire), et j'essaie de comprendre pourquoi vous utiliseriez jamais PCA plutôt que MDA / LDA.
L'explication est résumée comme suit:
En gros, dans PCA, nous essayons de trouver les axes avec les variances maximales où les données sont les plus réparties (au sein d'une classe, car PCA traite l'ensemble de données comme une seule classe), et dans MDA, nous maximisons en outre la répartition entre les classes.
Ne voudriez-vous pas toujours à la fois maximiser la variance et maximiser la répartition entre les classes?
Réponses:
Il vous manque quelque chose de plus profond: l'ACP n'est pas une méthode de classification.
L'ACP dans l'apprentissage automatique est traitée comme une méthode d'ingénierie des fonctionnalités. Lorsque vous appliquez PCA à vos données, vous garantissez qu'il n'y aura aucune corrélation entre les fonctionnalités résultantes. De nombreux algorithmes de classification en bénéficient.
Vous devez toujours garder à l'esprit que les algorithmes peuvent avoir des hypothèses sur les données, et si ces hypothèses ne tiennent pas, elles peuvent sous-performer.
LDA doit calculer une inversion de matrice de covariance pour projeter les données (vérifiez ces fils et réponses: faut- il effectuer l'ACP avant de procéder à la classification? Et est -il judicieux de combiner l'ACP et l'ADL? ). Si vous avez peu de données, cela est instable et vous obtenez des projections surajustées vers vos points de données, c'est-à-dire une matrice de covariance intra-classe unique. L'ACP est généralement utilisée pour éviter cela, ce qui réduit la dimension du problème.
La réponse est donc que vous n'utilisez jamais PCA pour effectuer la classification, mais vous pouvez l'utiliser pour essayer d'améliorer les performances de LDA.
la source
Alors que la réponse précédente de Firebug est correcte, je veux ajouter une autre perspective:
Apprentissage non supervisé ou supervisé:
LDA est très utile pour trouver des dimensions qui visent à séparer un cluster, vous devrez donc connaître les clusters avant. LDA n'est pas nécessairement un classificateur, mais peut être utilisé comme tel. Ainsi, le LDA ne peut être utilisé que dans un apprentissage supervisé
L'ACP est une approche générale pour le débruitage et la réduction de la dimensionnalité et ne nécessite pas d'informations supplémentaires telles que les étiquettes de classe dans l'apprentissage supervisé. Par conséquent, il peut être utilisé dans un apprentissage non supervisé.
la source
LDA is not neccesarily a classifier. Un lecteur (l'OP aussi) est également recommandé de lire cette question connexe: comment LDA, une technique de classification, sert également de technique de réduction de dimensionnalité comme l'APC .LDA est utilisé pour découper l'espace multidimensionnel.
PCA est utilisé pour réduire l'espace multidimensionnel.
Par exemple: les objets 3D projettent des ombres 2D. L'ACP nous permet souvent de réduire des centaines de dimensions spatiales en une poignée de dimensions spatiales inférieures tout en préservant 70% à 90% des informations importantes.
Juste comment je peux voir la taille et la forme de votre main depuis son ombre. Je ne peux pas tout vous dire sur la forme de votre main. Mais en ayant une collection de 3 ou 4 ombres sous des angles connus optimaux. Ensuite, je pourrais vous dire la plupart des choses sur la taille et la forme de la main.
la source