Dans le traitement d'images médicales, la plupart des travaux publiés tentent de réduire le taux de faux positifs (FPR) alors qu'en réalité, les faux négatifs sont plus dangereux que les faux positifs. Quelle est la justification derrière cela?
image-classification
image-recognition
Hunar A.Ahmed
la source
la source
Réponses:
TL; DR: les maladies sont rares, donc le nombre absolu de faux positifs est beaucoup plus que celui des faux négatifs.
Supposons que notre système ait le même taux de faux positifs et de faux négatifs de 1% (plutôt bien!), Et que nous détectons la présence de nouveaux cancers cette année: 439,2 / 100 000 personnes, soit 0,5% de la population. [ source ]
Nous pouvons donc voir que nous avons un problème: pour tous ceux qui ont un cancer, deux personnes qui n'en ont pas se retrouvent avec une chirurgie invasive, une chimiothérapie ou une radiothérapie.
Pour chaque personne qui ne parvient pas à déceler un cancer actuel, deux cents personnes reçoivent un traitement nocif dont elles n'avaient pas besoin et ne pouvaient pas vraiment se le permettre.
la source
Vous connaissez l'histoire du garçon qui a crié au loup, non?
C'est la même idée. Après qu'un classificateur ait donné de fausses alertes (pleure le loup) tant de fois, le personnel médical l'éteindra ou l'ignorera.
"Oh, ce nouveau! NOPE!"
Au moins avec le groupe de bioingénierie avec lequel j'ai travaillé, l'accent est mis sur la réduction du FPR spécifiquement parce que l'objectif est de créer un outil qui alertera les médecins sur une pathologie potentielle, et ils nous ont dit qu'ils ignoreraient un produit qui pleure le loup trop.
Pour un produit qui aide les médecins, nous devons faire appel à leur psychologie, malgré l'argument légitime selon lequel manquer le loup à la ferme est pire que pleurer le loup.
Edit : la diminution des faux positifs a également un argument légitime. Si votre ordinateur continue de pleurer le loup tout en obtenant le vrai positif occasionnel (et en attrapant la plupart des vrais positifs), cela signifie effectivement que quelqu'un pourrait être malade. Ils sont à l'hôpital. Le médecin sait que le patient peut être malade.
la source
Résumé: la question probablement * est pas si un faux négatif est pire que l' un faux positif, il est probablement * plus comme si 500 faux positifs sont acceptables pour descendre à un faux négatif.
* dépend de l'application
Permettez-moi de développer un peu la réponse de @ Dragon:
Le dépistage signifie que nous recherchons des maladies parmi une population apparemment en bonne santé. Comme l'explique @Dragon, pour ceux-ci, nous avons besoin d'un FPR extrêmement faible (ou d'une sensibilité élevée), sinon nous nous retrouverons avec beaucoup plus de faux positifs que de vrais positifs. C'est-à-dire que la valeur prédictive positive (# vraiment malade parmi tous les positifs diagnostiqués) serait inacceptablement faible.
La sensibilité (TPR) et la spécificité (TNR) sont faciles à mesurer pour un système de diagnostic: prenez un certain nombre de cas vraiment (non) malades et mesurez la fraction des cas correctement détectés.
OTOH, tant du point de vue des médecins que des patients, les valeurs prédictives sont plus pertinentes . Ils sont l'inverse de la sensibilité et de la spécificité et vous indiquent, parmi toutes les prédictions positives (négatives), quelle fraction est correcte. En d'autres termes, après le test dit «maladie», quelle est la probabilité que le patient ait effectivement la maladie.
Comme @Dragon vous l'a montré, l'incidence (ou la prévalence, selon le test dont nous parlons) joue ici un rôle crucial. L'incidence est faible dans toutes sortes d'applications de dépistage / diagnostic précoce du cancer.
Pour illustrer cela, le dépistage du cancer de l'ovaire chez les femmes ménopausées a une prévalence de 0,04% dans la population générale et de 0,5% chez les femmes à haut risque avec des antécédents familiaux et / ou des mutations connues des gènes suppresseurs de tumeurs BRCA1 et 2 [Buchen, L. Cancer: manquer la marque. Nature, 2011, 471, 428-432]
La question est donc généralement pas si un faux négatif est pire que l' un faux positif, mais même spécificité de 99% (1% TFP) et une sensibilité de 95% (numéros tirés du papier lié ci - dessus) signifie alors environ 500 faux positifs pour chaque faux négatif .
Sachez également que le diagnostic précoce du cancer n'est pas en soi un remède magique contre le cancer. Par exemple, pour la mammographie de dépistage du cancer du sein, seuls 3 à 13% des véritables patientes positives bénéficient réellement du dépistage .
Nous devons donc également surveiller le nombre de faux positifs pour chaque patient bénéficiaire . Par exemple, pour la mammographie, avec ces chiffres , une estimation approximative indique que nous avons quelque part dans la gamme de 400 à 1800 faux positifs par bénéficiaire vrai positif (groupe de 39 à 49 ans).
Avec des centaines de faux positifs par faux négatif (et peut-être aussi des centaines voire des milliers de faux positifs par patient bénéficiant du dépistage), la situation n'est pas aussi claire que "un cancer manqué est-il pire qu'un diagnostic de cancer faux positif": faux positifs ont un impact, allant de psychologique et psychosomatique (craindre que vous ayez un cancer en soi n'est pas sain) aux risques physiques des diagnostics de suivi tels que la biopsie (qui est une petite chirurgie, et en tant que telle est livrée avec sa propre des risques).
Même si l'impact d' un faux positif est faible, les risques correspondants peuvent s'additionner considérablement si des centaines de faux positifs doivent être pris en compte.
Lecture suggérée: Gerd Gigerenzer: Risk Savvy: How to Make Good Decisions (2014).
Pourtant, ce que PPV et NPV sont nécessaires pour rendre un test de diagnostic utile dépend fortement de l'application.
Comme expliqué, dans le dépistage de la détection précoce du cancer, l'accent est généralement mis sur le VPP, c'est-à-dire en veillant à ne pas causer trop de mal par les faux négatifs: trouver une fraction importante (même si pas la totalité) des patients atteints d'un cancer précoce est déjà une amélioration par rapport à le statu quo sans dépistage.
OTOH, le test de dépistage du VIH dans les dons de sang se concentre d'abord sur la VAN (c.-à-d. S'assurer que le sang est exempt de VIH). Pourtant, dans une deuxième (et troisième) étape, les faux positifs sont ensuite réduits en appliquant des tests supplémentaires avant d'inquiéter les personnes ayant des résultats de test VIH (faux) positifs.
Enfin, il existe également des applications de tests médicaux où les incidences ou les prévalences ne sont pas aussi extrêmes qu'elles le sont habituellement dans le dépistage des populations à risque pas particulièrement élevé, par exemple certains diagnostics différentiels.
la source
D'un point de vue personnel, plutôt que d'une expérience en science des données, un faux positif a un impact plus élevé sur la qualité de vie du patient qu'un faux négatif (au moins dans la plupart des applications de traitement d'images médicales. Nous ne parlons pas ici des résultats de laboratoire) .
Regardons un exemple concret: le dépistage des tumeurs .
Un faux négatif signifie qu'une tumeur à un stade précoce a plus de temps pour se développer et se transformer en cancer malveillant. Dans l'ensemble, ce processus prend beaucoup de temps et chaque dépistage ultérieur a plus de chances de le détecter, mais en réalité, la santé à long terme d'un patient en souffre.
De plus, il y a toujours un humain impliqué dans le diagnostic. Le traitement d'images médicales à son stade technologique actuel est censé être une aide pour le personnel médical, pas un substitut . Il est souvent destiné à signaler des lésions ou des changements dans les tissus qui sont si subtils qu'un humain pourrait les ignorer. Il n'y a aucune chance qu'un médecin néglige une tumeur à un stade avancé. Ils n'ont pas besoin de traitement d'image pour cela.
En termes de procédures médicales, si une tumeur ne devient pas inopérable avant le prochain dépistage, il n'y a pas de grande différence entre le retrait d'une tumeur à un stade précoce ou celle qui a eu un peu plus de temps pour se développer. La quantité de tissu enlevé est plus, mais le type d'opération est souvent le même. (Cela suppose que le patient effectue des dépistages de santé réguliers.)
Un faux positif a de nombreuses implications qui ne sont pas toutes directement liées à une maladie:
Cette évaluation risques-avantages montre qu'un faux négatif comporte moins de risques pour un patient qu'un faux positif. Par conséquent, la priorité de réduction des faux positifs est généralement plus élevée.
la source
Le temps du clinicien est précieux
Dans le domaine de la médecine, les cliniciens ont souvent une grande variété de maladies à essayer de détecter et de diagnostiquer, et c'est un processus qui prend du temps. Un outil qui présente un faux positif (même à un faible taux) est moins utile car il n'est pas possible de faire confiance à ce diagnostic, ce qui signifie qu'à chaque fois qu'il fait ce diagnostic, il doit être vérifié. Pensez-y comme le WebMD du logiciel - tout est signe de cancer!
Un outil qui présente de faux négatifs, mais présente toujours de vrais positifs, est beaucoup plus utile, car un clinicien n'a pas besoin de perdre du temps à revérifier ou à deviner le diagnostic. Si cela marque quelqu'un comme étant malade avec un diagnostic spécifique, le travail est fait. Si ce n'est pas le cas, les personnes qui ne sont pas mises en évidence comme étant malades recevront de toute façon des tests supplémentaires.
Il vaut mieux avoir un outil qui peut identifier avec précision même un seul trait d'une maladie, qu'un outil qui peut peut-être tromper plusieurs traits.
la source
Taux de faux positifs (FPR) également connu sous le nom de taux de fausses alertes (FAR); Un taux de faux positifs élevé peut produire une mauvaise performance du système de détection d'images médicales. Un faux positif est l'endroit où vous recevez un résultat positif pour un test, alors que vous auriez dû recevoir un résultat négatif. Par exemple, un test de grossesse est positif, alors qu'en fait la personne n'est pas enceinte.
la source
Selon toute vraisemblance, tout le monde sur ce fil sait déjà que c'est un problème au cœur de l'analyse bayésienne. Uniquement pour le bénéfice des futurs pèlerins qui pourraient penser que les faux positifs sont en quelque sorte uniquement un problème en radiologie, j'espère que ce commentaire fournira une perspective un peu plus générale.
la source