Je continue de voir cette célèbre citation partout, mais je n'arrive pas à comprendre la partie soulignée à chaque fois.
Un homme qui «rejette» provisoirement une hypothèse, conformément à la pratique habituelle, lorsque la signification est au niveau de 1% ou plus, se trompera certainement dans pas plus de 1% de ces décisions. Car lorsque l'hypothèse est correcte, il se trompe dans seulement 1% de ces cas, et lorsqu'elle est incorrecte, il ne se trompera jamais de rejet. [...] Cependant, le calcul est absurdement académique, car en fait aucun travailleur scientifique n'a un niveau de signification fixe auquel d'année en année, et en toutes circonstances, il rejette les hypothèses; il se penche plutôt sur chaque cas particulier à la lumière de son témoignage et de ses idées.Il ne faut pas oublier que les cas choisis pour appliquer un test sont manifestement un ensemble hautement sélectionné et que les conditions de sélection ne peuvent pas être spécifiées même pour un seul travailleur; ni que dans l'argument utilisé, il serait clairement illégitime pour quelqu'un de choisir le niveau de signification réel indiqué par un procès particulier comme s'il avait l'habitude de toute sa vie de n'utiliser que ce niveau.
(Méthodes statistiques et inférence scientifique, 1956, p. 42-45)
Plus précisément, je ne comprends pas
- Pourquoi les cas choisis pour appliquer un test sont-ils "hautement sélectionnés"? Supposons que vous vous demandiez si la taille moyenne des personnes dans une zone est inférieure à 165 cm et décidez de réaliser un test. Pour autant que je sache, la procédure standard consiste à prélever des échantillons aléatoires dans la zone et à mesurer leur hauteur. Comment cela peut-il être hautement sélectionné?
- Supposons que les cas soient hautement sélectionnés, mais comment cela est-il lié au choix du niveau de signification? Examinons à nouveau l'exemple ci-dessus, si votre méthode d'échantillonnage (ce que je suppose être ce que Fisher appelle des conditions de sélection ) est biaisée et favorise en quelque sorte les personnes de grande taille, alors toute la recherche est ruinée et la détermination subjective du niveau de signification ne peut pas la sauver.
la source
En essayant de voir l'arrière-plan de la citation, je suis arrivé à une version du livre (je ne sais pas quelle est la version) qui a une citation légèrement différente
https://archive.org/details/in.ernet.dli.2015.134555/page/n47
Cela me semble une critique d'utiliser l'expression mathématique des possibilités de rejet, erreurs de type I, comme argument rigoureux. Ces expressions ne sont souvent pas une bonne expression de ce qui est pertinent et elles ne sont pas non plus rigoureuses.
Pourquoi les cas choisis pour appliquer un test sont-ils "hautement sélectionnés"?
Cela semble se rapporter à la phrase
Nous ne sommes pas indifférents à l'hypothèse qui est testée, et souvent une hypothèse qui est testée n'est pas considérée comme vraie.
comment cela est-il lié au choix du niveau de signification?
Cela concerne
La valeur de p est juste la fréquence de faire une erreur lorsque l'hypothèse nulle est vraie. Mais la fréquence réelle de l'erreur sera différente (inférieure).
quel est "le niveau de signification réel indiqué par un essai particulier" se référant à
Je crois que cette partie fait référence à une sorte de piratage de la valeur p. Changer le niveau de signification, alpha, après que les observations se sont produites afin de faire correspondre la valeur de p observée, et prétendre que c'était la valeur de coupure depuis le début.
la source