La précision est-elle une règle de notation incorrecte dans un cadre de classification binaire?

13

J'ai récemment appris les règles de notation appropriées pour les classificateurs probabilistes. Plusieurs discussions sur ce site Web ont mis un point d'honneur à souligner que la précision est une règle de notation incorrecte et ne doit pas être utilisée pour évaluer la qualité des prévisions générées par un modèle probabiliste tel que la régression logistique.

Cependant, un certain nombre d'articles universitaires que j'ai lus ont donné une perte de classification erronée comme exemple d'une règle de notation correcte (non stricte) dans un cadre de classification binaire. L'explication la plus claire que j'ai pu trouver était dans cet article , au bas de la page 7. Pour autant que je sache, minimiser la perte de classification erronée équivaut à maximiser la précision, et les équations du document ont un sens intuitif.

Par exemple: en utilisant la notation du papier, si la vraie probabilité conditionnelle (étant donné un vecteur caractéristique x ) de la classe d'intérêt est η = 0,7, toute prévision q > 0,5 aurait une perte attendue R (η | q ) = 0,7 (0) + 0,3 (1) = 0,3, et tout q 0,5 aurait une perte attendue de 0,7. La fonction de perte serait donc minimisée à q = η = 0,7 et par conséquent propre; la généralisation à l'ensemble des probabilités et prévisions conditionnelles réelles semble assez simple à partir de là.

En supposant que les calculs et les déclarations ci-dessus sont corrects, les inconvénients d'un minimum non unique et toutes les prévisions supérieures à 0,5 partageant la même perte minimale attendue sont évidents. Je ne vois toujours aucune raison d'utiliser la précision par rapport aux alternatives traditionnelles telles que le score de log, le score de Brier, etc. Cependant, est-il correct de dire que la précision est une règle de notation appropriée lors de l'évaluation de modèles probabilistes dans un cadre binaire, ou est-ce que je fais un erreur - soit dans ma compréhension de la perte de classification erronée, soit en l'assimilant à la précision?

Zyzzva
la source

Réponses:

15

TL; DR

La précision est une règle de notation incorrecte. Ne l'utilisez pas.

La version légèrement plus longue

En fait, la précision n'est même pas une règle de notation. Donc, demander si c'est (strictement) correct est une erreur de catégorie. Le plus que l'on puisse dire, c'est que sous des hypothèses supplémentaires , la précision est conforme à une règle de notation qui est incorrecte, discontinue et trompeuse. (Ne l'utilisez pas.)

Votre confusion

Votre confusion vient du fait que la perte de classification erronée selon l'article que vous citez n'est pas non plus une règle de notation.

Les détails: règles de notation vs évaluations de classification

y{0,1}q^=P^(Y=1)(0,1)P(Y=1)=η>0.5q^

q^y

s:(q^,y)s(q^,y).

sq^=ηsq^=η

sq^iyi

y^{0,1}

a:(y^,y)a(y^,y)={1,y^=y0,y^y.

Par conséquent, la précision n'est pas une règle de notation . Il s'agit d'une évaluation de classification. (C'est un terme que je viens d'inventer; n'allez pas le chercher dans la littérature.)

q^y^θ

y^(q^,θ):={1,q^θ0,q^<θ.

θ=0.5q^iyi

q^q^y^=y^(q^,θ)q^

q^=ηθ=0.5q^(0,1)

y^q^

q^θθ=0.5q^=0.99q^θq^η

θ=0.2y=1y=0q^q^=0.25q^θ

Par conséquent, la perte de précision ou de mauvaise classification peut être trompeuse.

De plus, la précision et la perte de classification erronée sont inappropriées dans le cadre des hypothèses supplémentaires dans des situations plus complexes où les résultats ne sont pas idi. Frank Harrell, dans son article de blog Damage Caused by Classification Accuracy and Other Discontinuous Improper Accuracy Scoring Rules cite un exemple tiré de l'un de ses livres où l'utilisation de la perte de précision ou de mauvaise classification conduira à un modèle mal spécifié, car ils ne sont pas optimisés par la prédiction conditionnelle correcte probabilité.

θ

Pour plus d'informations, consultez Pourquoi la précision n'est-elle pas la meilleure mesure pour évaluer les modèles de classification? .

L'essentiel

N'utilisez pas la précision. Ni perte de classification erronée.

Le nitpick: "strict" vs "strictement"

Faut-il parler de règles de notation «strictes» ou de règles de notation «strictement»? "Strict" modifie "propre", pas "règle de notation". (Il existe des "règles de notation appropriées" et des "règles de notation strictement appropriées", mais pas de "règles de notation strictes".) En tant que tel, "strictement" doit être un adverbe, pas un adjectif, et "strictement" doit être utilisé. Comme cela est plus courant dans la littérature, par exemple, les articles de Tilmann Gneiting.

Stephan Kolassa
la source
Il y a de nombreux aspects de votre message que je ne suis pas (ou qui ne me semblent pas pertinents pour la question que j'ai posée), mais commençons par "la perte de mauvaise classification selon le document que vous citez n'est pas une règle de notation". La formule est donnée très clairement dans l'article: L1 (1-q) = 1 [q <= 0,5] (pardonnez le mauvais formatage). Il s'agit, à toutes fins pratiques, d'une fonction de pas qui mappe directement toute prédiction probabiliste et son résultat associé à une perte de 0 ou 1. En outre, 0,5 est juste un paramètre qui contrôle où le pas se produit; Je ne vois pas "l'hypothèse" impliquée. En quoi ce n'est pas une règle de notation?
Zyzzva
1
q
1
En ce qui concerne le commentaire sur la pertinence, je m'excuse s'il s'est mal passé. J'ai essayé de concentrer la portée de la question de manière à ce qu'elle soit spécifiquement appropriée ou incorrecte, et non discontinue / trompeuse / etc. Je connais bien les liens que vous avez fournis et je n'ai aucun problème avec vos commentaires sur les coûts de mauvaise classification ou les résultats. Je cherche simplement une explication plus rigoureuse de l'énoncé «l'exactitude est incorrecte», d'autant plus que cet article suggère le contraire pour le cas d'utilisation courant des résultats binaires. Je vous remercie d'avoir pris le temps d'en discuter avec moi et de partager vos réflexions détaillées.
Zyzzva
1
Après une réflexion plus approfondie, je pense avoir une meilleure compréhension du point que vous soulevez. Si nous considérons la même fonction de pas avec le pas à 0,6 (correspondant à la classification à un seuil de 0,6), alors la règle de notation est incorrecte, car la perte attendue ne sera plus minimisée par une prédiction q = n pour n dans la plage [ 0,5, 0,6]. Plus généralement, il sera inapproprié à chaque seuil autre que 0,5, et souvent dans la pratique, nous voulons utiliser d'autres seuils en raison des coûts asymétriques de classification erronée, comme vous l'avez souligné.
Zyzzva
1
Je conviens que la précision est clairement une mauvaise métrique pour évaluer les probabilités, même lorsqu'un seuil de 0,5 est justifié. J'en ai dit autant à la fin du post original que j'ai fait, mais cela a aidé à clarifier les détails spécifiques avec lesquels j'avais du mal - à savoir, concilier quelque chose que j'ai mal compris comme montrant que la précision est appropriée pour les résultats binaires (quand c'est la réalité, c'est seulement s'applique au cas très spécifique d'un seuil de 0,5) avec la déclaration apparemment en noir et blanc "la précision est incorrecte" que j'ai beaucoup vue. Merci pour votre aide et votre patience.
Zyzzva