Dans http://surveyanalysis.org/wiki/Multiple_Comparisons_(Post_Hoc_Testing), il indique
Par exemple, si nous avons une valeur de p de 0,05 et que nous concluons qu'elle est significative, la probabilité d'une fausse découverte est, par définition, de 0,05.
Ma question: j'ai toujours pensé que la fausse découverte est une erreur de type I, qui est égale aux niveaux de signification choisis dans la plupart des tests. La valeur P est la valeur calculée à partir de l'échantillon. En effet, Wikipedia déclare
La valeur de p ne doit pas être confondue avec le niveau de signification dans l'approche de Neyman – Pearson ou le taux d'erreur de type I [taux de faux positifs] "
Alors, pourquoi l'article lié affirme-t-il que le taux d'erreur de type I est donné par la valeur p?
la source
Réponses:
Votre taux de fausses découvertes dépend non seulement du seuil de valeur p, mais aussi de la vérité. En fait, si votre hypothèse nulle est en réalité fausse, il vous est impossible de faire une fausse découverte.
Peut-être qu'il est utile de penser comme ça: le seuil de valeur p est la probabilité de faire de fausses découvertes quand il n'y a pas de vraies découvertes à faire (ou de le dire différemment, si l'hypothèse nulle est vraie).
Fondamentalement,
Taux d'erreur de type 1 = "Probabilité de rejeter la valeur nulle si elle est vraie" = seuil de valeur p
et
Taux d'erreur de type 1 = taux de fausses découvertes SI l'hypothèse nulle est vraie
est correct, mais notez le conditionnel sur le vrai null. Le taux de fausses découvertes n'a pas cette condition et dépend donc de la vérité inconnue du nombre de vos hypothèses nulles qui sont réellement correctes ou non.
Il est également utile de considérer que lorsque vous contrôlez le taux de fausses découvertes à l'aide d'une procédure comme Benjamini-Hochberg, vous ne pouvez jamais estimer le taux de fausses découvertes, mais vous le contrôlez en estimant une limite supérieure. Pour en faire plus, vous devez en fait pouvoir détecter que l'hypothèse nulle est vraie à l'aide de statistiques, lorsque vous ne pouvez détecter que des violations d'une certaine ampleur (en fonction de la puissance de votre test).
la source
La différence entre les valeurs P et le taux de faux positifs (ou taux de fausses découvertes) est expliquée, j'espère clairement, dans http://rsos.royalsocietypublishing.org/content/1/3/140216
Bien que cet article utilise le terme False Discovery Rate, je préfère maintenant False Positive Rate, car l'ancien terme est souvent utilisé dans le contexte des corrections pour les comparaisons multiples. C'est un problème différent. Le document souligne que pour un seul test non biaisé, le taux de faux positifs est beaucoup plus élevé que la valeur P dans presque toutes les circonstances.
Il existe également une description qualitative de la logique sous-jacente sur https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistically-significant
la source