Cinq principaux classificateurs à essayer en premier

Outre les caractéristiques évidentes du classificateur comme

• coût de calcul,
• types de données attendus des fonctionnalités / étiquettes et
• l'adéquation à certaines tailles et dimensions d'ensembles de données,

quels sont les cinq premiers classificateurs (ou 10, 20?) à essayer en premier sur un nouvel ensemble de données dont on ne sait pas encore grand chose (par exemple la sémantique et la corrélation des caractéristiques individuelles)? Habituellement, j'essaie Naive Bayes, le plus proche voisin, l'arbre de décision et SVM - bien que je n'ai pas de bonne raison pour cette sélection autre que je les connais et comprends surtout comment ils fonctionnent.

Je suppose que l'on devrait choisir des classificateurs qui couvrent les approches de classification générale les plus importantes . Quelle sélection recommanderiez-vous, selon ce critère ou pour toute autre raison?

MISE À JOUR: Une formulation alternative pour cette question pourrait être: "Quelles approches générales de classification existent et quelles méthodes spécifiques couvrent les plus importantes / populaires / prometteuses?"

Forêt aléatoire

Rapide, robuste, bonne précision, dans la plupart des cas rien à régler, ne nécessite aucune normalisation, à l'abri de la colinéarité, génère une très bonne approximation des erreurs et un classement d'importance utile comme effet secondaire de l'entraînement, trivialement parallèle, prédit en un clin d'œil.

Inconvénients: des méthodes plus lentes que banales comme kNN ou NB, fonctionnent mieux avec des classes égales, une précision pire que SVM pour les problèmes nécessitant désespérément une astuce du noyau, est une boîte noire dure, ne fait pas de café.

Classificateur de processus gaussien (n'utilisant pas l'approximation de Laplace), de préférence avec marginalisation plutôt qu'optimisation des hyper-paramètres. Pourquoi?

1. car ils donnent une classification probabiliste
2. vous pouvez utiliser une fonction noyau qui vous permet d'opérer directement sur des données non vectorielles et / ou d'intégrer des connaissances expertes
3. ils traitent de l'incertitude dans l'ajustement du modèle correctement, et vous pouvez propager cette incertitude jusqu'au processus de prise de décision
4. performances prédictives généralement très bonnes.

Inconvénients

1. lent
2. nécessite beaucoup de mémoire
3. peu pratique pour des problèmes à grande échelle.

Le premier choix serait cependant une régression logistique régularisée ou une régression de crête [sans sélection de caractéristiques] - pour la plupart des problèmes, les algorithmes très simples fonctionnent plutôt bien et sont plus difficiles à se tromper (en pratique, les différences de performances entre les algorithmes sont plus petites que les différences de performances entre l'opérateur qui les conduit).

Par moi-même, lorsque vous approchez d'un nouvel ensemble de données, vous devez commencer à surveiller l'ensemble du problème. Tout d'abord, obtenez une distribution des caractéristiques catégorielles et des écarts moyens et standard pour chaque caractéristique continue. Ensuite:

• Supprimer les entités avec plus de X% de valeurs manquantes;
• Supprimer les caractéristiques catégorielles lorsqu'une valeur particulière obtient plus de 90 à 95% de la fréquence relative;
• Supprimer les entités continues avec CV = std / moyenne <0,1;
• Obtenez un classement des paramètres, par exemple ANOVA pour continu et Chi carré pour catégorique;
• Obtenez un sous-ensemble important de fonctionnalités;

Ensuite, je divise généralement les techniques de classification en 2 ensembles: technique boîte blanche et technique boîte noire. Si vous avez besoin de savoir «comment fonctionne le classificateur», vous devez choisir dans le premier ensemble, par exemple des arbres de décision ou des classificateurs basés sur des règles.

Si vous avez besoin de classer de nouveaux enregistrements sans construire un modèle, vous devriez jeter un œil à un apprenant désireux, par exemple KNN.

Après cela, je pense qu'il vaut mieux avoir un seuil entre précision et vitesse: Neural Network est un peu plus lent que SVM.

Ceci est ma technique de classement des cinq premiers:

1. Arbre de décision;
2. Classificateurs basés sur des règles;
3. SMO (SVM);
4. Naive Bayes;
5. Les réseaux de neurones.