Quelle pourrait être une définition claire et pratique d'une «famille d'hypothèses» (en ce qui concerne le taux d'erreur par famille)?

Lorsque j'essaie d'évaluer ce qui constitue une famille d'hypothèses dans une expérience / un projet / une analyse, j'ai trouvé "similaires dans leur objectif" et "similaires dans leur contenu" donnés comme lignes directrices pour délimiter les familles, mais celles-ci laissent beaucoup de place à l'interprétation ( Pour dire le moins).

Il semble clair que si au cours d'une analyse, je fais plusieurs tests de moyennes de groupe et un lot distinct de tests d'homogénéité des proportions, je ne regrouperais pas tout dans une seule famille d'hypothèses.

Cependant, si j'ai plusieurs lots de tests quelque peu liés des moyennes de groupe, quel critère les rassemble dans une famille (ou les divise en familles distinctes)? Tous les membres d'une famille devraient-ils avoir la même variable de réponse? Si j'avais des variables de réponse différentes mais le même ensemble de cas impliqués, ceux-ci seraient-ils tous regroupés dans une famille d'hypothèses?

La question des comparaisons multiples est un sujet très important. Il y a eu de nombreuses opinions et de nombreux désaccords. Cela est dû à beaucoup de choses; entre autres, c'est en partie parce que la question est vraiment importante et en partie parce qu'il n'y a vraiment pas de règle ou de critère ultime. Prenons un cas prototype: vous effectuez une expérience avec traitements et obtenez une ANOVA significative, alors maintenant vous vous demandez quels moyens de traitement diffèrent. Comment devez-vous procéder, exécutez t-tests? Bien que ces tests détiennent individuellement à 0,05, le "en famille" (c'est-à-dire la probabilité qu'au moins 1 erreur de type I se produise) explose. En fait, le taux d'erreur par famille sera deα 1 - ( 1 - α ) k α $k$$k(k-1)/2$$\alpha$$\alpha$$1-(1-\alpha)^k$. La question est, qu'est-ce qui définit une «famille»? Et il n'y a pas de réponse ultime, hormis celle insignifiante qu'une «famille» est un ensemble de contrastes. La question de savoir si un ensemble particulier de contrastes doit être considéré comme une famille est une décision subjective. Les 3e, 17e et 42e analyses que j'ai jamais menées dans ma vie sont un ensemble de contrastes, et j'aurais pu ajuster mon seuil pour m'assurer que la probabilité d'erreurs de type I parmi elles était maintenue à 5%, mais personne trouverait cela sensé. La question pour vous est de savoir si vous considérez vos contrastes comme un ensemble dans un sens, et vous seul pouvez porter ce jugement. Je proposerai quelques approches standard. De nombreux analystes estiment que si un ensemble de contrastes provient de la même expérience / ensemble de données, ils doivent être traités comme une famille,$\alpha$$\alpha$ ajustement ) sont nécessaires. D'autres pensent que même lorsque les contrastes proviennent de la même expérience, s'ils sont a priori et orthogonaux, des procédures spéciales ne sont pas nécessaires. Ces deux positions peuvent être défendues. Enfin, notez également que les procédures de contrôle des taux d'erreur familiaux ont un coût - à savoir. augmentation des taux d'erreur de type II.

Le critère est que les hypothèses sont interdépendantes en ce sens que si l'une d'elles casse, alors l'ensemble de votre conclusion ou théorie rompt. Par conséquent, vous avez besoin d'une garantie que si tous les tests sont significatifs, aucun d'entre eux n'est faux à tort.

Une discussion sur researchgate ( http://www.researchgate.net/post/Bonferroni-how_is_the_family_of_hypotheses_defined ) a fourni une liste d'articles, ce qui pourrait aider à recueillir des opinions - les articles partent en fait de la question "quand appliquer des corrections dans une situation de test multiple ". Les articles - tous souvent cités - sont:

1) Rothman KJ. Aucun ajustement n'est nécessaire pour les comparaisons multiples. Epidemiology.1990; 1 (1): 43-6. http://psg-mac43.ucsf.edu/ticr/syllabus/courses/9/2003/02/27/Lecture/readings/Rothman.pdf

2) TV Perneger. Quel est le problème avec les ajustements de Bonferroni. BMJ. 1998; 316 (7139): 1236-8. http://static.sdu.dk/mediafiles/D/1/F/%7BD1F06030-8FA7-4EE2-BB7D-60D683B18EAA%7DWhat_s-wrong%20_with_Bonferroni_adjustments.BMJ.1998.pdf

3) Bender R, Lange S. Ajustement pour plusieurs tests - quand et comment? J Clin Epidemiol. 2001; 54: 343-9. http://www.rbsd.de/PDF/multiple.pdf

Sommaire:

1) et 2) se concentrent sur «toutes les hypothèses nulles sont vraies», appelée l'hypothèse générale nulle. Il peut être rejeté plus correctement (c.-à-d. Pas de calcul alpha) si des ajustements pour des comparaisons multiples sont appliqués. Cependant, les points 1) et 2) s'opposent à ce que l'hypothèse générale nulle soit rarement pleinement utilisée dans le processus de recherche scientifique - de sorte que le critère "rupture de toute la théorie" ne s'applique pas automatiquement, lorsqu'une / certaines des hypothèses nulles dans les données les analyses sont rejetées par hasard. 1) ajoute qu'il est naïf de penser à des hypothèses nulles uniques, qui ont été (faussement) rejetées, ne seront plus jamais revues par la communauté scientifique.

3) stipule qu'une fois que des hypothèses uniques se fondent dans un seul argument, les ajustements doivent être effectués.

De mon point de vue 1), 2), 3) ensemble, il suffit de refléter avec quelle prudence nous devons respecter le critère de la «théorie entière». Il n'y a pas non plus de moyen de mettre toutes les hypothèses nulles dans une seule grosse saucisse - ni de s'appuyer sur les tranches de saucisse présentées comme autant d'hypothèses uniques. C'est là que le travail empirique rencontre vraiment le travail avec la théorie du domaine en recherche.