Quand la précision est-elle plus importante que le rappel?

Quelqu'un peut-il me donner des exemples où la précision est importante et des exemples où le rappel est important?

• Pour la modélisation des données sur le cancer rare, tout ce qui ne tient pas compte des faux négatifs est un crime. Le rappel est une meilleure mesure que la précision.
• Pour les recommandations YouTube, les faux négatifs sont moins préoccupants. La précision est meilleure ici.

Je peux vous donner mon cas réel lorsque le rappel est plus important:

Nous avons des milliers de clients gratuits qui s'inscrivent sur notre site Web chaque semaine. L'équipe du centre d'appel veut les appeler tous, mais c'est impossible, alors ils me demandent de sélectionner ceux qui ont de bonnes chances d'être un acheteur (avec une température élevée, c'est comme ça que nous nous référons à eux). Nous ne nous soucions pas d'appeler un gars qui ne va pas acheter (donc la précision n'est pas importante) mais pour nous, il est très important que tous ceux qui ont une température élevée soient toujours dans ma sélection, donc ils ne vont pas sans acheter. Cela signifie que mon modèle doit avoir un rappel élevé , peu importe si la précision va au diable.

J'espère que ça aide! Miguel.

Bien que dans certaines situations, le rappel puisse être plus important que la précision (ou vice versa), vous avez besoin des deux pour obtenir une évaluation plus interprétable.

Par exemple, comme l'a noté @SmallChess, dans la communauté médicale, un faux négatif est généralement plus désastreux qu'un faux positif pour les diagnostics préliminaires. Par conséquent, on pourrait considérer le rappel comme une mesure plus importante. Cependant, vous pouvez avoir un rappel à 100% tout en ayant un modèle inutile: si votre modèle génère toujours une prédiction positive, il aurait un rappel à 100% mais serait complètement informatif.

C'est pourquoi nous examinons plusieurs métriques:

• courbe précision-rappel
• AUROC
• et parfois des métriques telles que le score F

Ce qui est plus important dépend simplement du coût de chaque erreur.

La précision a tendance à impliquer des coûts directs; plus vous avez de faux positifs, plus vous avez de vrais positifs. Si vos coûts sont faibles, la précision n'a pas autant d'importance. Par exemple, si vous avez 1M d'adresses e-mail et qu'il vous en coûtera 10 $ pour envoyer un e-mail à chacune d'entre elles, cela ne vaut probablement pas la peine d'essayer d'identifier les personnes les plus susceptibles de répondre, plutôt que de simplement les spammer toutes.

Le rappel, d'autre part, a tendance à entraîner des coûts d'opportunité; vous abandonnez des opportunités chaque fois que vous avez un faux négatif. Le rappel est donc moins important lorsque la valeur marginale d'une identification correcte supplémentaire est faible, par exemple, il existe de multiples opportunités, il y a peu de différence entre elles, et seul un nombre limité peut être recherché. Par exemple, supposons que vous souhaitiez acheter une pomme. Il y a 100 pommes au magasin, et 10 d'entre elles sont mauvaises. Si vous avez une méthode pour distinguer les mauvaises pommes qui manque 80% des bonnes, vous identifierez environ 18 bonnes pommes. Normalement, un rappel de 20% serait terrible, mais si vous ne voulez que 5 pommes, alors manquer ces 72 autres pommes n'a pas vraiment d'importance.

Le rappel est donc le plus important lorsque:

-Le nombre d'opportunités est faible (s'il n'y avait que 10 bonnes pommes, alors il est peu probable que vous en trouviez 5 bonnes avec un taux de rappel de seulement 20%)
-Il existe des différences significatives entre les opportunités (si certaines pommes sont meilleures que d'autres , alors un taux de rappel de 20% suffit pour obtenir 5 bonnes pommes, mais elles ne seront pas forcément les meilleures )
OU
- Le bénéfice marginal des opportunités reste élevé, même pour un grand nombre d'opportunités. Par exemple, alors que la plupart des acheteurs ne bénéficieront pas de plus de 18 bonnes pommes, le magasin aimerait avoir plus de 18 pommes à vendre.

Ainsi, la précision sera plus importante que le rappel lorsque le coût de l'action est élevé, mais le coût de l'inaction est faible. Notez que ce sont les coûts d'agir / de ne pas agir par candidat, pas le "coût de toute action du tout" contre "le coût de ne pas avoir d'action du tout". Dans l'exemple de la pomme, c'est le coût d'achat / de non-achat d'une pomme en particulier, pas le coût d'achat de certaines pommes par rapport au coût de l'achat d'aucune pomme; le coût de ne pas acheter une pomme en particulier est faible car il y a beaucoup d'autres pommes. Étant donné que le coût d'achat d'une mauvaise pomme est élevé, mais que le coût de la transmission d'une bonne pomme particulière est faible, la précision est plus importante dans cet exemple. Un autre exemple serait l'embauche lorsqu'il y a beaucoup de candidats similaires.

Le rappel est plus important que la précision lorsque le coût de l'action est faible, mais le coût d'opportunité de laisser passer un candidat est élevé. Il y a l'exemple de spam que j'ai donné plus tôt (le coût de manquer une adresse e-mail n'est pas élevé, mais le coût de l'envoi d'un e-mail à quelqu'un qui ne répond pas est encore plus bas), et un autre exemple serait d'identifier les candidats pour le vaccin contre la grippe: donnez le vaccin contre la grippe à quelqu'un qui n'en a pas besoin, et cela coûte quelques dollars, ne le donnez pas à quelqu'un qui en a besoin, et il pourrait mourir. Pour cette raison, les plans de soins de santé offriront généralement le vaccin contre la grippe à tout le monde, sans tenir compte de la précision.

L'accumulation a une excellente réponse sur la façon dont vous pouvez trouver plus d'exemples expliquant l'importance de la précision sur le rappel et vice versa.

La plupart des autres réponses démontrent de façon convaincante l'importance du rappel, alors j'ai pensé donner un exemple sur l'importance de la précision. Ceci est un exemple complètement hypothétique, mais il fait le cas.

Disons qu'un modèle d'apprentissage automatique est créé pour prédire si un certain jour est un bon jour pour lancer des satellites ou non en fonction de la météo.

• Si le modèle prédit accidentellement qu'une bonne journée pour lancer des satellites est mauvaise ( faux négatif ), nous manquons la chance de lancer. Ce n'est pas si grave.

• Cependant, si le modèle prédit que c'est une bonne journée, mais que c'est en fait une mauvaise journée pour lancer les satellites ( faux positif ), alors les satellites peuvent être détruits et le coût des dommages sera de plusieurs milliards.

C'est un cas où la précision est plus importante que le rappel.

J'ai eu du mal à me rappeler la différence entre la précision et le rappel, jusqu'à ce que je trouve cette mnémonique pour moi:

PREcision est aux tests de grossesse comme reCALL est au centre CALL.

Avec un test de grossesse, le fabricant du test doit être sûr qu'un résultat positif signifie que la femme est vraiment enceinte. Les gens pourraient réagir à un test positif en se mariant soudainement ou en achetant une maison (si de nombreux consommateurs obtenaient des faux positifs et subissaient des coûts énormes sans raison, le fabricant du test manquerait de clients). J'ai eu un test de grossesse faussement négatif une fois, et cela signifiait simplement qu'il fallait encore quelques semaines avant de découvrir que j'étais enceinte ... la vérité est finalement devenue APPARENTE. (Jeu de mots volontaire.)

Imaginez maintenant un centre d'appels pour les réclamations d'assurance. La plupart des réclamations frauduleuses sont téléphonées le lundi, après que les fraudeurs se sont mis en contact avec des collaborateurs et ont créé leurs histoires inventées («disons que la voiture a été volée») au cours du week-end. Quelle est la meilleure chose à faire pour une compagnie d'assurance le lundi? Peut-être devraient-ils s'accorder pour privilégier le rappel à la précision. Il est de loin préférable de signaler plus de réclamations comme positives (fraude probable) pour une enquête plus approfondie que de manquer une partie de la fraude et de verser des espèces qui n'auraient jamais dû être payées. Un faux positif (signalé pour un examen supplémentaire comme étant peut-être une fraude, mais la perte de client était réelle) peut probablement être éliminé en affectant un expert en sinistres expérimenté, qui peut exiger un rapport de police, demander une vidéo de sécurité du bâtiment, etc. Un faux négatif (accepter un fraudeur »

La F1 est excellente, mais il est très important de comprendre comment le test / la prédiction sera utilisé, car il y a toujours un risque de se tromper ... vous voulez savoir à quel point les conséquences seront désastreuses si elles sont erronées.

Détection de spam par e-mail : c'est l'un des exemples où la précision est plus importante que le rappel .

Récapitulatif rapide :

• Précision : cela indique quand vous prédisez quelque chose de positif, combien de fois ils étaient réellement positifs. tandis que,

• Rappel : Cela indique, à partir de données positives réelles, combien de fois vous avez prédit correctement.

Cela dit, en cas de détection de courrier indésirable, il faut être d'accord si un courrier indésirable (cas positif) n'est pas détecté et ne va pas dans le dossier spam, mais si un courrier électronique est bon (négatif), il ne doit pas aller à dossier de spam. c'est-à-dire que Precison est plus important. (Si le modèle prédit quelque chose de positif (c'est-à-dire du spam), il vaut mieux être du spam. Sinon, vous risquez de manquer des e-mails importants).

J'espère que cela clarifie.