Comment comparer deux algorithmes de classement?

Je veux comparer deux algorithmes de classement. Dans ces algorithmes, le client spécifie certaines conditions dans sa recherche. Selon les exigences du client, ces algorithmes doivent attribuer un score pour chaque élément de la base de données et récupérer les éléments ayant les scores les plus élevés.

J'ai lu différents sujets liés à ma question sur ce site et recherché sur le net. Selon mes recherches, l'article le plus pertinent qui explique certaines mesures de comparaison des algorithmes de classement était le suivant: Brian McFee et Gert RG Lanckriet, Metric Learning to Rank, ICML 2010 ( https://bmcfee.github.io/papers/mlr .pdf ). Je pense que prec @ k, MAP, MRR et NDCG sont de bonnes mesures à utiliser, mais j'ai un problème:

Mon algorithme trie les résultats, donc le premier élément de ma liste de résultats est le meilleur avec le score le plus élevé, le deuxième résultat a le deuxième meilleur score, etc. Je limite mon algorithme de recherche pour trouver par exemple les 5 meilleurs résultats. Les résultats sont les 5 meilleurs éléments. Ainsi, la précision sera de 1. Lorsque je limite ma recherche pour trouver le meilleur résultat, il trouve le meilleur. Encore une fois, la précision sera de 1. Mais le problème est que c'est inacceptable pour les personnes qui voient ce résultat.

Que puis-je faire? Comment puis-je comparer ces algorithmes et montrer que l'un est meilleur que l'autre?

Le gain cumulé actualisé (DCG) est l'une des mesures les plus populaires utilisées pour évaluer le classement par n'importe quel moteur de recherche. C'est une mesure de la qualité du classement. Dans la recherche d'informations, il est souvent utilisé pour mesurer l'efficacité du moteur de recherche Web.

Il est basé sur les hypothèses suivantes:

1. Les documents très pertinents sont plus utiles s'ils apparaissent plus tôt dans un résultat de recherche.
2. Les documents très pertinents sont plus utiles que les documents peu pertinents qui sont meilleurs que les documents non pertinents.

La formule du DCG est la suivante:

$$DCG_p = \sum_{i=1}^p \frac {rel_i} {log_2 (i+1)} = rel_1 + \sum_{i=2}^p \frac {rel_i} {log_2 (i+1)} \tag{1}$$

Où:

• i est la position renvoyée d'un document dans le résultat de la recherche.
• $rel_i$
• la sommation sur p (nombre de résultats renvoyés) donc, le gain cumulé cumulé donne les métriques de performance du résultat renvoyé.

DCG est dérivé de CG (Cumulative Gain) , donné par:

$$CG_p = \sum_{i=1}^p rel_i \tag{2}$$

$CG_p$

$$DCG_p = \sum_{i=1}^p \frac {2^{rel_i} - 1} {log_2 (i+1)} \tag{3}$$

$p$$DCG_p$

Pour surmonter ce problème, un DCG normalisé (nDCG) est proposé. Il est donné par,

$$nDCG_p = \frac {DCG_p} {IDCG_p}$$

$IDCG_p$$DCG_p$

$$IDCG_p = \sum_{i=1}^{|REL|} \frac {2^{rel_i} - 1} {log_2 (i+1)}$$

Où | REL | est la liste des documents classés par pertinence dans le corpus jusqu'à la position p.

Pour un algorithme de classement parfait,

$$DCG_p = IDCG_p$$

Étant donné que les valeurs de nDCG sont mises à l'échelle dans la plage [0,1], la comparaison entre requêtes est possible en utilisant ces métriques.

Inconvénients: 1. Le nDCG ne pénalise pas la récupération des mauvais documents dans le résultat. Cela peut être résolu en ajustant les valeurs de pertinence attribuées aux documents. 2. Le nDCG ne pénalise pas les documents manquants. Cela peut être résolu en fixant la taille de la récupération et en utilisant le score minimum pour les documents manquants.

Reportez - vous à ceci pour voir des exemples de calculs de nDCG.

Référence

Ressources utiles:

• http://www.cs.utexas.edu/~mooney/ir-course/slides/Evaluation.ppt
• http://www.nii.ac.jp/TechReports/05-014E.pdf
• http://www.stanford.edu/class/cs276/handouts/EvaluationNew-handout-6-per.pdf
• http://hal.archives-ouvertes.fr/docs/00/72/67/60/PDF/07-busa-fekete.pdf
• Apprendre à classer pour la recherche d'informations (Tie-Yan Liu)