Comment l'analyse discriminante linéaire réduit-elle les dimensions?

18

Il y a des mots de "Les éléments de l'apprentissage statistique" à la page 91:

Les K centroïdes dans l'espace d'entrée de dimension p s'étendent sur la plupart des sous-espaces dimensionnels de K-1, et si p est beaucoup plus grand que K, ce sera une baisse considérable de dimension.

J'ai deux questions:

  1. Pourquoi les K centroïdes dans l'espace d'entrée de dimension p s'étendent au plus sur le sous-espace dimensionnel de K-1?
  2. Comment sont situés les centroïdes K?

Il n'y a aucune explication dans le livre et je n'ai pas trouvé la réponse dans les articles connexes.

jerry_sjtu
la source
3
Les centroïdes se trouvent dans un sous espace affine dimensionnel au plus . Par exemple, deux points se trouvent sur une ligne, un sous-espace dimensionnel. Ceci est juste la définition d'un sous-espace affine et d'une algèbre linéaire élémentaire. KK-12-1
deinst
Une question très similaire: stats.stackexchange.com/q/169436/3277 .
ttnphns

Réponses:

16

Les discriminants sont les axes et les variables latentes qui différencient le plus les classes. Le nombre de discriminants possibles est . Par exemple, avec k = 3 classes dans p = 2 espace dimensionnel, il peut exister au plus 2 discriminants comme sur le graphique ci-dessous. (Notez que les discriminants ne sont pas nécessairement orthogonaux en tant qu'axes dessinés dans l'espace d'origine, bien qu'ils, en tant que variables, ne soient pas corrélés.) Les centroïdes des classes sont situés dans le sous-espace discriminant selon leurs coordonnées perpendiculaires aux discriminants.mjen(k-1,p)

entrez la description de l'image ici

L'algèbre de LDA en phase d'extraction est ici .

ttnphns
la source
Beau graphique, quel logiciel / package avez-vous utilisé pour le créer?
Michelle
SPSS. Macro auto-écrite pour SPSS.
ttnphns
Est-ce à dire que vous ne verrez pas une bonne séparation des classes dans un LDA avec, disons, trois classes avec chevauchement, jusqu'à ce que vous redimensionniez l'axe ?? Je veux dire, je dirige un LDA, et mes classes se séparent ... mais elles sont juste au-dessus les unes des autres dans tous les axes discriminants sauf le premier ... et celui-là est énorme.
donlan
14

Bien que "Les éléments de l'apprentissage statistique" soit un livre brillant, il nécessite un niveau de connaissances relativement élevé pour en tirer le meilleur parti. Il existe de nombreuses autres ressources sur le Web pour vous aider à comprendre les sujets du livre.

Prenons un exemple très simple d'analyse discriminante linéaire où vous souhaitez regrouper un ensemble de points de données bidimensionnels en K = 2 groupes. La baisse des dimensions ne sera que K-1 = 2-1 = 1. Comme @deinst l'a expliqué, la baisse des dimensions peut s'expliquer par la géométrie élémentaire.

Deux points dans n'importe quelle dimension peuvent être joints par une ligne, et une ligne est unidimensionnelle. Ceci est un exemple d'un sous-espace K-1 = 2-1 = 1 dimensionnel.

Maintenant, dans cet exemple simple, l'ensemble des points de données sera dispersé dans un espace à deux dimensions. Les points seront représentés par (x, y), par exemple, vous pourriez avoir des points de données tels que (1,2), (2,1), (9,10), (13,13). À présent, l'utilisation d'une analyse discriminante linéaire pour créer deux groupes A et B entraînera la classification des points de données comme appartenant au groupe A ou au groupe B de sorte que certaines propriétés sont satisfaites. L'analyse discriminante linéaire tente de maximiser la variance entre les groupes par rapport à la variance au sein des groupes.

En d'autres termes, les groupes A et B seront éloignés l'un de l'autre et contiendront des points de données proches l'un de l'autre. Dans cet exemple simple, il est clair que les points seront regroupés comme suit. Groupe A = {(1,2), (2,1)} et groupe B = {(9,10), (13,13)}.

Maintenant, les centroïdes sont calculés comme les centroïdes des groupes de points de données afin

Centroid of group A = ((1+2)/2, (2+1)/2) = (1.5,1.5) 

Centroid of group B = ((9+13)/2, (10+13)/2) = (11,11.5)

Les centroïdes sont simplement 2 points et ils s'étendent sur une ligne unidimensionnelle qui les relie.

Figure 1

Vous pouvez considérer l'analyse discriminante linéaire comme une projection des points de données sur une ligne afin que les deux groupes de points de données soient aussi "séparés que possible"

Si vous aviez trois groupes (et disons des points de données tridimensionnels), vous obtiendriez trois centroïdes, simplement trois points, et trois points dans l'espace 3D définissent un plan bidimensionnel. Encore une fois, la règle K-1 = 3-1 = 2 dimensions.

Je vous suggère de rechercher sur le Web des ressources qui vous aideront à expliquer et à développer la simple introduction que j'ai donnée; par exemple http://www.music.mcgill.ca/~ich/classes/mumt611_07/classifiers/lda_theory.pdf

martino
la source
1
Bienvenue sur notre site, Martino!
whuber
merci @whuber, joli graphique, je n'avais pas de tels outils à portée de main :(
martino
De toute façon, je ne pensais pas que tu avais la réputation de publier une image, Martino: c'est pourquoi j'en ai fait une pour toi. Mais maintenant - ou bientôt - vous aurez assez de représentants. Si rien n'est pratique, vous pouvez utiliser un logiciel disponible gratuitement avec des capacités de dessin géométrique comme R ou Geogebra . (Vous constaterez que les réponses illustrées retiennent davantage l'attention: elles sont plus attrayantes et lisibles.)
whuber
Pourquoi le downvote? S'il y a un problème avec la réponse, il serait utile de le signaler - je ne peux pas en voir un
martino