Document sur la réalisation de tests d'hypothèse sur la base des résultats d'un autre test

Il est bien connu qu'il est problématique de choisir un test statistique basé sur le résultat d'un autre test statistique, car les valeurs de p sont difficiles à impossibles à interpréter (par exemple choisir un test statistique basé sur le résultat d'un autre (par exemple la normalité) ) . Cependant, c'est encore une pratique standard dans de nombreuses applications et ne semble généralement pas être remarqué ou discuté dans les articles appliqués. En parcourant la littérature, je n'ai pas réussi à trouver un article qui traite réellement de ce phénomène.

J'apprécierais des liens vers toutes les publications relatives au choix d'un test statistique basé sur les résultats d'un autre test statistique, en particulier celles qui sont accessibles aux scientifiques appliqués.

hypothesis-testing references p-value Rob Hall
la source

Commentaire indépendant: Dans ma recherche, je suis tombé sur un article de RS Nickerson `` Test de signification d'hypothèse nulle: un examen d'une vieille et continue controverse '', qui ne discute pas de ce phénomène particulier, mais semblait également agréable à remettre aux scientifiques appliqués.

Rob Hall

Il y a longtemps, j'ai publié une analyse détaillée d'une de ces situations sur quantdec.com/envstats/notes/class_12/ucl.htm : il étudie les propriétés d'une UCL qui est déterminée par une procédure choisie en fonction des résultats d'un test d'hypothèse préliminaire ( concernant la distribution sous-jacente).

whuber

Celui-ci pourrait vous intéresser (voir aussi ceci ). Ensuite, il y a ça . Cela concerne le test de l'égalité de variance et le test de la normalité respectivement avant un test t à deux échantillons.

Glen_b -Reinstate Monica

Il me semble que dire simplement "il est bien connu que cela pose problème" revient à fournir une spécificité insuffisante car la nature problématique dépend probablement du cadre statistique dans lequel on travaille. Les problèmes d'interprétation fréquentiste peuvent ne pas être des problèmes pour les méthodes qui évaluent la signification probante des données.

Michael Lew

Peut-être qu'un simple exemple où cela pose problème servirait à peu près le même but qu'une citation.

BKay

Réponses:

Je pense que le document de recherche suivant sur les procédures de chaîne est pertinent et pourrait être utile pour répondre à votre question: http://www.multxpert.com/doc/md2011.pdf .

Aleksandr Blekh
la source

Merci pour cet article intéressant. Si je comprends bien, il examine l'allocation d'alpha basée sur les données à un ensemble ordonné d'hypothèses. Une telle procédure pourrait alors simplement ajouter toutes les variantes d'une hypothèse à une liste (par exemple l'hypothèse étant donné qu'un test parémétrique peut être utilisé et l'hypothèse étant donné qu'il existe des preuves qu'un test non parémétrique devrait être utilisé). Même si cela devrait être une approche sensée dans un cadre Neyman – Pearson, je ne suis pas sûr que cela résout le problème de l'interprétation des valeurs de p au sens de Fisher.

Rob Hall

@RobHall: Vous êtes les bienvenus! Franchement, j'ai parcouru le document sans entrer dans les détails, donc pour le moment je ne peux pas vraiment faire de commentaire valable. Mais j'espère revoir ce document quand j'aurai une chance. À propos, voici un autre article intéressant qui pourrait être pertinent à cet égard , où l'auteur soutient que les deux cadres peuvent être considérés comme complémentaires: stat.duke.edu/courses/Spring07/sta215/Ref/Lehm1993.pdf .

Aleksandr Blekh