En d’autres termes, au lieu d’avoir un problème à deux classes, j’ai plutôt affaire à quatre classes et j’aimerais toujours évaluer les performances en utilisant l’ASC.
classification
roc
Rob Hyndman
la source
la source
Réponses:
Il semble que vous recherchiez une analyse ROC multi-classes, qui est une sorte d'optimisation multi-objectifs décrite dans un tutoriel à ICML'04. Comme dans plusieurs problèmes multi-classes, l’idée est généralement d’effectuer une comparaison par paires (une classe par rapport à toutes les autres classes, une classe par rapport à une autre classe, voir (1) ou les Eléments de l’apprentissage statistique ), et il existe une récente article de Landgrebe et Duin sur ce sujet, Approximation du ROC multiclass par analyse par paire , Pattern Recognition Letters 2007 28: 1747-1758. Maintenant, à des fins de visualisation, j'ai vu des documents il y a quelque temps, dont la plupart tournaient autour du volume sous le diagramme de surface ROC (VUS) ou Cobweb .
Cependant, je ne sais pas s’il existe une implémentation R de ces méthodes, bien que je pense que la
stars()fonction pourrait être utilisée pour le tracé de la toile d’araignée. Je viens de croiser une boîte à outils Matlab qui semble offrir une analyse ROC multi-classes, PRSD Studio .Autres documents pouvant également être utiles comme point de départ pour la visualisation / le calcul:
Références:
1. Allwein, EL, Schapire, RE et Singer, Y. (2000). Réduction de la multiclassification en binaire: approche unificatrice pour les classificateurs de marges. Journal de recherche sur l'apprentissage machine , 1 : 113-141.
la source
J'ai récemment trouvé ce package pROC dans R qui trace un ROC multiclass à l'aide de la technique spécifiée par Hand et Till (2001) . Vous pouvez utiliser la fonction multiclass.roc.
la source
Les réponses ici sont assez complètes, mais je voudrais quand même ajouter mes 5 centimes. Dans cette question, vous trouverez un exemple de code R permettant de produire des courbes ROC à l’aide de l’approche One-Vs-All et de la bibliothèque ROCR .
C'est l'intrigue de cette réponse:
la source
Bien que le calcul me dépasse, cet article de synthèse contient quelques références qui pourraient vous intéresser, ainsi qu'une brève description des graphiques ROC multi-classes.
Une introduction à l'analyse ROC par Tom Fawcett Lettres de reconnaissance de modèles Volume 27, numéro 8, juin 2006, pages 861-874
Lien vers pdf fourni par gd047- merci
la source