ImageNet: que signifie l'erreur des cinq premiers?

L'une des méthodes d'évaluation pour ImageNet Competition (classer 1 000 catégories d'images) est l'erreur du top 5, qu'est-ce que cela signifie?

Voir: http://www.image-net.org/challenges/LSVRC/

L'erreur Top-5, également connue sous le nom d'erreur Rank-5, est simplement une instanciation de la métrique d'erreur Rank-N avec .$(N=5)$

L' erreur de rang est la fraction des échantillons de test où la bonne étiquette n'apparaît pas dans les premiers résultats prévus du modèle lorsque les résultats sont triés par ordre de confiance décroissant, ou .x i y i N P ( y i | x i$N$$x_i$$y_i$$N$$P(y_i|x_i)$

Dans ILSVRC 2014 , la métrique d'erreur pour la classification était:

$$e = \tfrac{1}{n} \cdot \sum_k \min_{i} d(c_i, C_k)$$

où

$$d(a, b) = \begin{cases} 0 & \text{if } a = b \\ 1 & \text{otherwise} \end{cases}$$

c k n k = 1 , . . . , $c_i$ est l'étiquette prédite et est l'étiquette de vérité fondamentale. Il existe étiquettes possibles avec .$C_k$$n$$k=1, ..., n$

le taux d'erreur du top 5 (d'un modèle) est la fraction des images de test pour lesquelles l'étiquette correcte ne fait pas partie des cinq étiquettes considérées comme les plus probables par le modèle [ 1 ]

Je pense que l'évaluation conditionnelle de devrait se lire: , si apparaît dans les N premières classifications probables pour une classe de vérité terrain Bk donnée. = 1, si ce n'est pas le cas.d ( A i , B k ) = 0 A $d(A_i, B_k)$$d(Ai, Bk) = 0$$A_i$

Ici, k prend les valeurs 0 à N-1. Où N est le nombre de classes. Pour chaque , il existe classifications probables, où i prend des valeurs [0, N-1]A $B_k$$A_i$