Qu'est-ce qui fait qu'un classificateur classe mal les données? [fermé]

Serait-ce à partir des données elles-mêmes? Ou est-ce parce que le modèle ne peut pas détecter efficacement les similitudes entre les données, ou y a-t-il d'autres raisons de mauvaise classification?

Supposons que vous parliez d'une mauvaise classification des données d'entraînement, c'est-à-dire qu'il est difficile de minimiser la perte sur l'ensemble de données d'entraînement, aucun problème de sur-ajustement des données de test n'est impliqué.

Vous avez raison de dire que, dans la plupart des cas, la mauvaise classification peut provenir de «le modèle est trop simple» ou «les données sont trop bruyantes». Je voudrais donner deux exemples pour illustrer davantage.

1. Le modèle est "trop ​​simple" pour saisir les "modèles de données".

   • L'exemple est illustré dans la figure de gauche. Supposons que nous voulons utiliser une régression logistique / une ligne pour séparer deux classes, mais les deux classes ne sont pas linéairement séparables.

   • Dans ce cas, il existe toujours des «schémas notables dans les données» et si nous modifions le modèle, nous pourrions nous améliorer. Par exemple, si nous utilisons le classificateur KNN, au lieu de la régression logistique, nous pouvons avoir de très bonnes performances.

2. Les données ont trop de bruit, il est très difficile de faire la tâche de classification.

   • L'exemple est illustré dans la figure de droite, où, si vous vérifiez le code, vous verrez que deux classes sont très similaires (deux classes sont gaussiennes 2D, la moyenne est à distance, mais l'écart-type pour chaque classe est de ). C'est essentiellement une tâche très difficile.$0.01\times 2$$1.0$

Notez que les deux exemples sont triviaux, car nous pouvons visualiser les données et le classificateur. Dans le monde réel, ce n'est pas le cas, lorsque nous avons des millions de points de données et des classificateurs super compliqués.

Code:

library(mlbench)
set.seed(0)
par(mfrow=c(1,2))
d=mlbench.spirals(500)
plot(d)
lg_fit=glm(d$classes~d$x[,1]+d$x[,2]-1,family=binomial())
abline(0,-lg_fit$coefficients[1]/lg_fit$coefficients[2])

d2=mlbench.2dnormals(500,r=0.01)
plot(d2)

En plus de @ hxd1011 (+1).

1. Déséquilibre de classe en termes relatifs ou absolus. Dans les deux cas, nous construisons une représentation inadéquate de la classe d'intérêt. Habituellement, ce dernier est plus difficile à surmonter. (Exemple de référence: apprendre des données déséquilibrées de He et Garcia)
2. Critères de classification incorrects. Nous formons notre classificateur à l'aide d'une fonction d'évaluation inappropriée et / ou utilisons des critères inappropriés pour dériver notre solution finale. Problème très courant lors de l'utilisation de "solutions prédéfinies". (Exemple de référence: Dommages causés par l'exactitude de la classification et autres règles de notation discontinue de l'exactitude incorrecte par Harrell)
3. Il n'y a pas de classe en réalité. Nous souhaitons qu'il y ait quelque chose mais vraiment il n'y a rien. Habituellement, l'expertise du domaine éloigne les gens de cela, mais en tant que nouveau venu, c'est toujours un problème. (Exemple de référence: notre vie quotidienne. Le biais de publication est probablement un problème ici aussi ...)
4. Sur-ajustement. Nous avons un modèle décent et un ensemble de données décent mais nous ne parvenons pas à former la construction appropriée d'un modèle irréaliste. Habituellement, cela concerne le point 2. (Extra-points pour sous-ajustement!) (Exemple de référence: Le problème du sur-ajustement par les Hawkings)
5. Dérive du concept. Les choses changent et nous ne nous recyclons pas. Notre classificateur a d'excellentes performances dans notre échantillon de marketing "Ventes de Noël" - oui, l'utilisation de ce modèle en juillet sera probablement une douleur ... (Exemple de référence: A Survey on Concept Drift Adaptation by Gama et al.)
6. Fuite de données / fonctionnalités Magic. Nous nous entraînons à partir d'informations qui ne seront pas disponibles au moment de la prédiction. Commun lorsque des données de type événement / série temporelle sont présentes. (Exemple de référence: fuite dans l'exploration de données: formulation, détection et évitement par Kaufman et al.)