FPR (taux de faux positifs) vs FDR (taux de fausses découvertes)

La citation suivante provient du célèbre document de recherche Signification statistique pour les études à l'échelle du génome de Storey et Tibshirani (2003):

Par exemple, un taux de faux positifs de 5% signifie qu'en moyenne 5% des caractéristiques vraiment nulles de l'étude seront qualifiées de significatives. Un FDR (False Discovery rate) de 5% signifie que parmi toutes les fonctionnalités dites significatives, 5% d'entre elles sont vraiment nulles en moyenne.

Quelqu'un peut-il expliquer ce que cela signifie en utilisant un simple exemple numérique ou visuel? J'ai du mal à comprendre ce que cela signifie. J'ai trouvé divers articles sur FDR ou FPR seul, mais je n'en ai trouvé aucun où une comparaison spécifique a été faite.

Ce serait particulièrement bien si quelqu'un d'expert dans ce domaine pouvait illustrer des situations où l'une est meilleure que l'autre, ou les deux sont bonnes ou mauvaises.

Je vais les expliquer de différentes manières car cela m'a aidé à le comprendre.

Prenons un exemple spécifique. Vous faites un test de dépistage d'une maladie sur un groupe de personnes. Définissons maintenant quelques termes. Pour chacun des éléments suivants, je fais référence à une personne qui a été testée:

Vrai positif (TP) : a la maladie, identifiée comme ayant la maladie

Faux positif (PF) : N'a pas la maladie, identifiée comme ayant la maladie

Vrai négatif (TN) : n'a pas la maladie, identifié comme n'ayant pas la maladie

Faux négatif (FN) : a la maladie, identifiée comme n'ayant pas la maladie

Visuellement, cela est généralement illustré à l'aide de la matrice de confusion :

Le taux de faux positifs (FPR) est le nombre de personnes qui ne sont pas atteintes de la maladie mais identifiées comme ayant la maladie (tous les MF), divisé par le nombre total de personnes qui ne sont pas atteintes de la maladie (comprend tous les PF et les TN) .

$$FPR = \frac{FP}{FP + TN}$$

Le taux de fausses découvertes (FDR) est le nombre de personnes qui n'ont pas la maladie mais qui sont identifiées comme ayant la maladie (tous les PF), divisé par le nombre total de personnes qui sont identifiées comme ayant la maladie (inclut tous les PF et TP) ).

$$FDR = \frac{FP}{FP + TP}$$

---

Donc, la différence est dans le dénominateur, c'est-à-dire à quoi comparez-vous le nombre de faux positifs?

Le FPR vous indique la proportion de toutes les personnes qui n'ont pas la maladie qui seront identifiées comme ayant la maladie.

Le FDR vous indique la proportion de toutes les personnes identifiées comme atteintes de la maladie qui n'ont pas la maladie.

Les deux sont donc des mesures utiles et distinctes de l'échec. Selon la situation et les proportions de TP, FP, TN et FN, vous pouvez vous soucier davantage de l'un que de l'autre.

---

Mettons maintenant quelques chiffres à cela. Vous avez mesuré 100 personnes pour la maladie et vous obtenez ce qui suit:

Vrais positifs (TP) : 12

Faux positifs (FP) : 4

Vrais négatifs (TN) : 76

Faux négatifs (FN) : 8

Pour le montrer en utilisant la matrice de confusion:

Alors,

$$FPR = \frac{FP}{FP + TN} = \frac{4}{4 + 76} = \frac{4}{80} = 0.05 = 5\%$$

$$FDR = \frac{FP}{FP + TP} = \frac{4}{4 + 12} = \frac{4}{16} = 0.25 = 25\%$$

En d'autres termes,

Le FPR vous indique que 5% des personnes qui ne souffraient pas de la maladie ont été identifiées comme ayant la maladie. Le FDR vous indique que 25% des personnes qui ont été identifiées comme ayant la maladie ne souffraient pas réellement de la maladie.

---

EDIT basé sur le commentaire de @ amoeba (également les chiffres dans l'exemple ci-dessus):

Pourquoi la distinction est-elle si importante? Dans l'article auquel vous vous connectez, Storey et Tibhshirani soulignent qu'il y avait un fort accent sur le FPR (ou le taux d'erreur de type I) dans les études à l'échelle du génome, et que cela conduisait les gens à faire des inférences erronées. En effet, une fois que vous avez trouvé résultats significatifs en corrigeant le FPR, vous devez vraiment, vraiment considérer combien de vos résultats significatifs sont incorrects. Dans l'exemple ci-dessus, 25% des «résultats significatifs» auraient été erronés!$n$

[Note latérale: Wikipedia souligne que bien que le FPR soit mathématiquement équivalent au taux d'erreur de type I, il est considéré comme conceptuellement distinct car l'un est généralement défini a priori tandis que l'autre est généralement utilisé pour mesurer les performances d'un test par la suite. C'est important, mais je n'en discuterai pas ici].

---

Et pour un peu plus d'exhaustivité:

De toute évidence, le FPR et le FDR ne sont pas les seules mesures pertinentes que vous pouvez calculer avec les quatre quantités dans la matrice de confusion. Parmi les nombreuses métriques possibles qui peuvent être utiles dans différents contextes , deux sont relativement courantes que vous êtes susceptible de rencontrer:

Le véritable taux positif (TPR) , également connu sous le nom de sensibilité , est la proportion de personnes atteintes de la maladie qui sont identifiées comme ayant la maladie.

$$TPR = \frac{TP}{TP + FN}$$

Le véritable taux négatif (TNR) , également connu sous le nom de spécificité , est la proportion de personnes qui n'ont pas la maladie qui sont identifiées comme n'ayant pas la maladie.

$$TNR = \frac{TN}{TN + FP}$$

Vous devriez examiner le tableau dans https://en.wikipedia.org/wiki/Confusion_matrix . Veuillez noter que le FPR est placé verticalement tandis que le FDR est horizontal.

• FP se produit si votre hypothèse nulle est vraie mais que vous la rejetez
• FD se produit si vous prédisez quelque chose d'important, mais vous ne devriez pas