Qu'est-ce qu'une bonne ASC pour une courbe de rappel de précision?

Parce que j'ai un ensemble de données très déséquilibré (9% de résultats positifs), j'ai décidé qu'une courbe de rappel de précision était plus appropriée qu'une courbe ROC. J'ai obtenu la mesure sommaire analogue de l'aire sous la courbe PR (.49, si vous êtes intéressé), mais je ne sais pas comment l'interpréter. J'ai entendu dire que .8 ou plus est ce qu'est une bonne AUC pour ROC, mais les seuils généraux seraient-ils les mêmes pour l'AUC pour une courbe de rappel de précision?

Il n'y a pas de coupure magique pour AUC-ROC ou AUC-PR. Plus haut est évidemment meilleur, mais cela dépend entièrement de l'application.

Par exemple, si vous pouviez identifier avec succès des investissements rentables avec un ASC de 0,8 ou, d'ailleurs, quelque chose qui se distingue du hasard, je serais très impressionné et vous seriez très riche. D'un autre côté, la classification des chiffres manuscrits avec une AUC de 0,95 est toujours sensiblement inférieure à l'état actuel de la technique.

De plus, alors que la meilleure AUC-ROC possible est garantie d'être dans [0,1], cela n'est pas vrai pour les courbes de rappel de précision car il peut y avoir des zones "inaccessibles" de l'espace PR, selon la façon dont les distributions de classe sont asymétriques. (Voir cet article de Boyd et al (2012) pour plus de détails).

.49 n'est pas génial, mais son interprétation est différente de celle du ROC AUC. Pour ROC AUC, si vous avez obtenu un .49 en utilisant un modèle de régression logistique, je dirais que vous ne faites pas mieux que le hasard. Pour .49 PR AUC, cependant, ce n'est peut-être pas si mal. Je considérerais la précision individuelle et le rappel, peut-être que l'un ou l'autre est ce qui fait baisser votre PR AUC. Rappel vous dira quelle proportion de cette classe positive de 9% vous devinez réellement. La précision vous dira combien vous en avez deviné positif. (Faux positifs). Un rappel de 50% serait mauvais, ce qui signifie que vous ne devinez pas beaucoup de votre classe déséquilibrée, mais peut-être qu'une précision de 50% ne serait pas mauvaise. Cela dépend de votre situation.

Un estimateur aléatoire aurait un PR-AUC de 0,09 dans votre cas (9% de résultats positifs), donc votre 0,49 est certainement une augmentation substantielle.

Si c'est un bon résultat, cela ne peut être évalué que par rapport à d'autres algorithmes, mais vous n'avez pas donné de détails sur la méthode / les données que vous avez utilisées.

En outre, vous souhaiterez peut-être évaluer la forme de votre courbe PR. Une courbe PR idéale va du coin supérieur droit horizontalement au coin droit et directement vers le coin inférieur droit, ce qui donne une PR-AUC de 1. Dans certaines applications, la courbe PR montre à la place une forte pointe au début pour rapidement redescendez près de la "ligne d'estimation aléatoire" (la ligne horizontale avec une précision de 0,09 dans votre cas). Cela indiquerait une bonne détection des résultats positifs "forts", mais une mauvaise performance sur les candidats moins clairs.

Si vous souhaitez trouver un bon seuil pour le paramètre de coupure de votre algorithme, vous pouvez considérer le point de la courbe PR le plus proche du coin supérieur droit. Ou encore mieux, envisagez la validation croisée si possible. Vous pouvez obtenir des valeurs de précision et de rappel pour un paramètre de coupure spécifique qui sont plus intéressantes pour votre application que la valeur du PR-AUC. Les AUC sont les plus intéressantes lorsque l'on compare différents algorithmes.