Pourquoi utiliser l'AUC?

Surtout du côté informatique de la littérature sur l'apprentissage automatique, l'ASC (aire sous la courbe caractéristique de l'opérateur du récepteur) est un critère populaire pour évaluer les classificateurs. Quelles sont les justifications de l'utilisation de l'AUC? Par exemple, existe-t-il une fonction de perte particulière pour laquelle la décision optimale est le classificateur avec la meilleure AUC?

Pour les classificateurs binaires utilisés pour le classement (c'est-à-dire pour chaque exemple nous avons dans l'intervalle ) à partir duquel l'ASC est mesurée, l'ASC est équivalente à la probabilité que où est un véritable exemple positif et est un véritable exemple négatif. Ainsi, le choix d'un modèle avec l'ASC maximale minimise la probabilité que . C'est-à-dire, minimise la perte de classement d'un vrai négatif au moins aussi grand qu'un vrai positif.$C$$e$$C(e)$$[0, 1]$$C(e_1) > C(e_0)$$e_1$$e_0$$C(e_0) \geq C(e_1)$

Prenons un exemple simple d'identification d'une bonne tomate à partir d'un pool de bonnes + mauvaises tomates. Disons que le nombre de bonnes tomates est de 100 et que les mauvaises tomates sont de 1000, donc un total de 1100. Maintenant, votre travail consiste à identifier autant de bonnes tomates que possible. Une façon d'obtenir toutes les bonnes tomates est de prendre les 1100 tomates. Mais cela indique clairement que vous n'êtes pas en mesure de différencier b / n bon contre mauvais .

Alors, quelle est la bonne façon de différencier - besoin d'obtenir autant de bons tout en ramassant très peu de mauvais , donc nous avons besoin d'une mesure quelque chose, qui peut dire combien de bons nous avons ramassés et aussi dire ce qui compte dans les mauvais il. La mesure de l'AUC donne plus de poids si elle est capable de sélectionner plus de bons avec peu de mauvais comme illustré ci-dessous. qui indique à quel point vous êtes capable de différencier b / n bon et mauvais.

Dans l'exemple, vous pouvez observer qu'en ramassant 70% de bonnes tomates, la courbe noire a ramassé environ 48% de mauvaises (impuretés), mais la bleue a 83% de mauvaises (impuretés). La courbe noire a donc un meilleur score AUC que la courbe bleue.