Étendue de la correction des tests multiples

Un peu d'une question étrange. Dans ma classe de biostatistique de quatrième année aujourd'hui, nous discutions quand et quand ne pas utiliser la correction de tests multiples, et le professeur a fait un commentaire désinvolte. Il a demandé pourquoi nous ne corrigeons pas tous les tests que nous avons faits depuis que nous avons commencé à faire des statistiques, car ils sont tous (pour la plupart) indépendants et chaque fois que nous observons un résultat, nous augmentons notre probabilité de tirer un faux positif. Il a ri après, mais pourquoi ne faisons-nous pas cela? Je ne dis pas que nous devrions le faire, car c'est évidemment ridicule, mais jusqu'où est-il trop loin pour corriger les tests?

Nous supposerons alpha = 0,05 pour plus de simplicité, et disons que chaque test A, B et C ne sont soumis à aucune sorte de dépendance et donc indépendants. Si je m'assois et teste A, B et C, que ce soit des tests T ou autre chose, je dois évidemment ajuster pour plusieurs corrections parce que je prends 0,95 à la puissance de trois, et mes chances d'obtenir une fusée ciel faussement positive. Cependant, si je fais A, B et C à des jours différents, dans le contexte de procédures différentes, et que j'en tire des résultats différents, en quoi est-ce différent de la situation précédente? Nous observons toujours les trois tests, ils sont toujours indépendants.

Ce que j'essaie de comprendre, c'est la limite logique où nous disons d' arrêter de faire plusieurs tests de correction. Devrions-nous le faire uniquement pour une famille de tests, ou devrions-nous le faire pour un document entier, ou devrions-nous le faire pour chaque test que nous avons jamais exécuté? Je comprends comment utiliser la correction de tests multiples et utiliser FDR / Bonferonni au travail tout le temps. Ce concept m'a juste pris la tête en rond.

Merci pour votre temps.

Edit: Il y a une discussion approfondie de cette question dans une question plus récente .

Je pense que la réponse à votre question est que la correction multiple dépend du contexte du problème que vous résolvez. Si vous envisagez d'abord des tests a priori et des tests post-hoc , vous pouvez voir où la correction de plusieurs tests entre en jeu.

Supposons que vous formuliez une seule hypothèse, collectiez des données et testiez l'hypothèse. Pas besoin de corriger dans ce cas évidemment. Si vous décidez a priori d'effectuer deux tests ou plus sur l'ensemble de données, vous pouvez ou non corriger plusieurs tests. La correction peut être différente pour chaque test et peut être sélectionnée en utilisant vos connaissances de domaine. D'un autre côté, vous pouvez simplement utiliser l'une des méthodes de correction habituelles. Les tests a priori sont généralement peu nombreux. Si vous aviez un grand nombre d'hypothèses à tester, vous pouvez décider de tailles d'échantillon plus grandes, d'échantillons différents, etc. En d'autres termes, vous pouvez concevoir votre expérience pour vous donner la meilleure chance possible de tirer des conclusions correctes à partir de vos hypothèses.

En revanche, les tests post-hoc sont effectués sur un ensemble de données sans hypothèse particulière à l'esprit. Vous faites du dragage de données dans une certaine mesure et vous devrez certainement appliquer la correction Bonferroni ou FDR (ou votre propre favori).

Étant donné que les différents ensembles de données collectés au cours de votre vie (ou pour un document) sont généralement indépendants et posent des questions différentes, vous ne devriez pas avoir à vous soucier de la correction pour chaque test jamais effectué. N'oubliez pas que plusieurs corrections protègent contre les erreurs familiales (c.-à-d. La protection d'une famille de tests) plutôt que les erreurs de test individuelles. Si vous pouvez logiquement regrouper vos tests en familles, je pense que vous trouverez des limites de comparaisons multiples appropriées pour ces familles.

Vous pouvez penser au taux d'erreur familial (FWER; pour plus d'informations, consultez cet article ). Je dirais que si vous exécutez une seule expérience pour tester A, B et C, vous devez appliquer une correction à tests multiples. Si vous exécutez une expérience distincte pour chaque A, B et C, aucune correction ne sera nécessaire.

Vous vous demandez peut-être pourquoi nous devrions contrôler le taux d'erreur par expérience. Voici mon avis. Imaginez que certaines institutions de type NIH ou FDA mandatent que vous corrigez pour chaque test que vous avez déjà fait. Considérez que vous exécutez une expérience avec un seul test, et c'est votre première expérience. Aucun ajustement ne sera nécessaire ici. Considérez maintenant que vous exécutez à nouveau une nouvelle expérience avec un seul test, mais cette fois, c'est votre$1,000^{th}$expérience. Ensuite, vous devrez utiliser$\alpha$de 0,05 / 1 000 = 0,00005! Qui voudrait exécuter des expériences avec une telle faible$\alpha$? Donc, je suppose que, lorsque Tukey a proposé le taux d'erreur par expérience, il a peut-être voulu être juste pour chaque expérience, car chaque expérience prend de l'argent, du temps et des ressources.