Comment calculez-vous la précision et le rappel pour la classification multiclass à l'aide de la matrice de confusion?

Je me demande comment calculer la précision et se rappeler en utilisant une matrice de confusion pour un problème de classification multi-classes. Plus précisément, une observation ne peut être affectée qu'à sa classe / étiquette la plus probable. Je voudrais calculer:

• Précision = TP / (TP + FP)
• Rappel = TP / (TP + FN)

pour chaque classe, puis calculez la F-mesure micro-moyennée.

Dans un cas à 2 hypothèses, la matrice de confusion est généralement:

       | Declare H1  |  Declare H0 |
|Is H1 |    TP       |   FN        |
|Is H0 |    FP       |   TN        |

où j'ai utilisé quelque chose de similaire à votre notation:

• TP = vrai positif (déclarer H1 alors que, en vérité, H1),
• FN = faux négatif (déclarer H0 quand, en vérité, H1),
• FP = faux positif
• TN = vrai négatif

À partir des données brutes, les valeurs de la table seraient généralement les comptes de chaque occurrence sur les données de test. À partir de cela, vous devriez pouvoir calculer les quantités dont vous avez besoin.

Modifier

La généralisation aux problèmes multi-classes consiste à additionner les lignes / colonnes de la matrice de confusion. Étant donné que la matrice est orientée comme ci-dessus, c'est-à-dire qu'une ligne donnée de la matrice correspond à une valeur spécifique pour la "vérité", nous avons:

$\text{Precision}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ji}}$

$\text{Recall}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ij}}$

Autrement dit, la précision est la fraction d'événements où nous avons correctement déclaré parmi toutes les instances où l'algorithme a déclaré . Inversement, le rappel est la fraction d'événements où nous avons correctement déclaré parmi tous les cas où le vrai de l'état du monde est .$i$$i$$i$$i$

Bon document de synthèse, examinant ces métriques pour des problèmes multi-classes:

• Sokolova, M. et Lapalme, G. (2009). Une analyse systématique des mesures de performance pour les tâches de classification. Traitement et gestion de l'information, 45 , p. 427-437. ( pdf )

Le résumé se lit comme suit:

Cet article présente une analyse systématique de vingt-quatre mesures de performance utilisées dans l’éventail complet des tâches de classification d’apprentissage automatique, c’est-à-dire binaire, multi-classe, multi-libellé et hiérarchique. L'étude associe un ensemble de modifications d'une matrice de confusion à des caractéristiques spécifiques de données. Ensuite, l'analyse se concentre sur le type de modifications apportées à une matrice de confusion qui ne modifie pas une mesure, par conséquent, conservez l'évaluation d'un classifieur (invariance de mesure). Le résultat est la taxonomie d'invariance de mesure pour tous les changements de distribution d'étiquettes pertinents dans un problème de classification. Cette analyse formelle est étayée par des exemples d'applications où les propriétés d'invariance des mesures conduisent à une évaluation plus fiable des classificateurs.

Utilisation de sklearn et numpy:

from sklearn.metrics import confusion_matrix
import numpy as np

labels = ...
predictions = ...

cm = confusion_matrix(labels, predictions)
recall = np.diag(cm) / np.sum(cm, axis = 1)
precision = np.diag(cm) / np.sum(cm, axis = 0)

Pour obtenir des mesures globales de précision et de rappel, utilisez ensuite

np.mean(recall)
np.mean(precision)