LDA multi-classes vs LDA 2 classes

8

Le problème de la conception d'un classificateur multi-classes à l'aide de LDA peut être exprimé comme un problème à 2 classes (un contre tout le reste) ou un problème multi-classes .

Pourquoi est - ce que dans certains cas classificateur multi-classe LDA surclasse 2 classe LDA (un contre tout le reste) ou vice-versa .

machine-learning classification pattern-recognition discriminant-analysis garak
la source
Pourriez-vous ajouter des détails à votre question tout à fait réservée. Exemples. Et considérez-vous ici les deux étapes de la LDA - extraction et classification, - ou classification uniquement?
ttnphns
eh bien, j'essaie de projeter un vecteur de 27 dimensions à des dimensions inférieures et de comparer les vecteurs. Le motif est de concevoir une technique de classification simple pour classer le mieux possible.
garak
1
Parfois, vous pouvez rencontrer des données lorsqu'une classification à deux classes est plus précise (par exemple, lorsqu'une classe est éloignée, "aberrante", des autres, proches les unes des autres. Mais, en règle générale, la classification de la classe k devrait se révéler meilleure. Premièrement, les classes k permettent des axes plus discriminants. Deuxièmement, un groupe de classes k-1 ne devrait généralement pas suivre la distribution normale multivariée sur laquelle s'appuie l'étape de classification LDA. Voir la réponse de JohnSmith.
ttnphns

Réponses:

12

Je pense que le classificateur LDA multi-classe surpasse toujours (enfin, dans la plupart des tâches pratiques) le LDA 2 classes. Et je vais essayer de décrire pourquoi.

Jetez un œil à l'exemple de jeu de données: exemple de jeu de données avec trois classes

Vous avez trois classes ici. Et disons que vous voulez construire un classificateur un contre l'autre avec LDA pour la classe bleue.

La moyenne estimée pour la classe "bleu" est nulle, mais la moyenne estimée pour la classe "autre" est également nulle. Et la covariance est la même que celle de la définition de LDA. Cela signifie que LDA répondra avec l'étiquette qui a plus d'éléments. Et il ne renverra jamais du tout la classe "bleu"!

Pour le LDA multi-classe, il parviendra à trouver parfaitement les bonnes classes.

Le contexte à ce sujet est que le mélange de gaussiens n'est plus gaussien dans la plupart des cas. Donc, cette hypothèse de LDA échoue. Et je dois dire qu'il est vraiment difficile de trouver un exemple d'un ensemble de données où chaque classe est gaussienne, et ils sont toujours gaussiens après que nous les ayons rejoints.

C'est pourquoi je recommanderais fortement d'utiliser LDA multi-classe. J'espère que cela vous aidera!

Dmitry Laptev
la source
1
Je pense que ce que John a montré très bien ici, c'est que LDA pour deux classes utilise une seule ligne pour séparer les classes. Mais dans l'exemple, une bonne classification nécessite deux lignes, ce qui se fait dans un problème à trois classes.
Michael R. Chernick
@MichaelChernick, oui, exactement, c'est une explication des autres points de vue, merci pour votre commentaire!
Dmitry Laptev
merci pour la réponse rapide les gars! Cependant, j'ai rencontré il y a quelques jours, un cas où un LDA multi-classe (précision de 60%) est beaucoup moins efficace qu'un LDA 2 classes (précision de plus de 80%) dans un problème de classification de 10 classes.
garak
@MichaelChernick mais si vous utilisez LDA comme méthode de projection, vous pouvez décider de garder deux dimensions (les deux vecteurs propres des plus grandes valeurs propres) et obtenir la séparation que vous recherchez (en utilisant une méthode de classification kNN au lieu de séparer les plans), ou est-ce que je manque quelque chose d'évident?
Matthieu