Comment l'analyse discriminante linéaire réduit-elle les dimensions?

Il y a des mots de "Les éléments de l'apprentissage statistique" à la page 91:

Les K centroïdes dans l'espace d'entrée de dimension p s'étendent sur la plupart des sous-espaces dimensionnels de K-1, et si p est beaucoup plus grand que K, ce sera une baisse considérable de dimension.

J'ai deux questions:

1. Pourquoi les K centroïdes dans l'espace d'entrée de dimension p s'étendent au plus sur le sous-espace dimensionnel de K-1?
2. Comment sont situés les centroïdes K?

Il n'y a aucune explication dans le livre et je n'ai pas trouvé la réponse dans les articles connexes.

Les discriminants sont les axes et les variables latentes qui différencient le plus les classes. Le nombre de discriminants possibles est . Par exemple, avec k = 3 classes dans p = 2 espace dimensionnel, il peut exister au plus 2 discriminants comme sur le graphique ci-dessous. (Notez que les discriminants ne sont pas nécessairement orthogonaux en tant qu'axes dessinés dans l'espace d'origine, bien qu'ils, en tant que variables, ne soient pas corrélés.) Les centroïdes des classes sont situés dans le sous-espace discriminant selon leurs coordonnées perpendiculaires aux discriminants.$min(k-1,p)$

L'algèbre de LDA en phase d'extraction est ici .

Bien que "Les éléments de l'apprentissage statistique" soit un livre brillant, il nécessite un niveau de connaissances relativement élevé pour en tirer le meilleur parti. Il existe de nombreuses autres ressources sur le Web pour vous aider à comprendre les sujets du livre.

Prenons un exemple très simple d'analyse discriminante linéaire où vous souhaitez regrouper un ensemble de points de données bidimensionnels en K = 2 groupes. La baisse des dimensions ne sera que K-1 = 2-1 = 1. Comme @deinst l'a expliqué, la baisse des dimensions peut s'expliquer par la géométrie élémentaire.

Deux points dans n'importe quelle dimension peuvent être joints par une ligne, et une ligne est unidimensionnelle. Ceci est un exemple d'un sous-espace K-1 = 2-1 = 1 dimensionnel.

Maintenant, dans cet exemple simple, l'ensemble des points de données sera dispersé dans un espace à deux dimensions. Les points seront représentés par (x, y), par exemple, vous pourriez avoir des points de données tels que (1,2), (2,1), (9,10), (13,13). À présent, l'utilisation d'une analyse discriminante linéaire pour créer deux groupes A et B entraînera la classification des points de données comme appartenant au groupe A ou au groupe B de sorte que certaines propriétés sont satisfaites. L'analyse discriminante linéaire tente de maximiser la variance entre les groupes par rapport à la variance au sein des groupes.

En d'autres termes, les groupes A et B seront éloignés l'un de l'autre et contiendront des points de données proches l'un de l'autre. Dans cet exemple simple, il est clair que les points seront regroupés comme suit. Groupe A = {(1,2), (2,1)} et groupe B = {(9,10), (13,13)}.

Maintenant, les centroïdes sont calculés comme les centroïdes des groupes de points de données afin

Centroid of group A = ((1+2)/2, (2+1)/2) = (1.5,1.5) 

Centroid of group B = ((9+13)/2, (10+13)/2) = (11,11.5)

Les centroïdes sont simplement 2 points et ils s'étendent sur une ligne unidimensionnelle qui les relie.

Vous pouvez considérer l'analyse discriminante linéaire comme une projection des points de données sur une ligne afin que les deux groupes de points de données soient aussi "séparés que possible"

Si vous aviez trois groupes (et disons des points de données tridimensionnels), vous obtiendriez trois centroïdes, simplement trois points, et trois points dans l'espace 3D définissent un plan bidimensionnel. Encore une fois, la règle K-1 = 3-1 = 2 dimensions.

Je vous suggère de rechercher sur le Web des ressources qui vous aideront à expliquer et à développer la simple introduction que j'ai donnée; par exemple http://www.music.mcgill.ca/~ich/classes/mumt611_07/classifiers/lda_theory.pdf