C'est le phénomène des «deux meilleurs sur trois». Vous connaissez la blague:
"Allons-y."
"Ok vas-y!"
"Oups, j'ai perdu. Que diriez-vous de retourner deux fois de plus, le gagnant étant le meilleur des trois temps totaux?"
Les tests de signification sont exactement comme le retournement de pièces (mais avec des pièces biaisées, généralement). Si vous exécutez un test court et qu'il n'est pas significatif, vous pouvez peut-être obtenir une signification (en partie grâce à la chance) en prolongeant le test.
L'inverse de cela (je suis tenté de dire le "revers" de ceci :-)) est que si vous prévoyez d'effectuer un certain nombre de tests et de voir un résultat "significatif" au début, ce n'est pas non plus déterminant. C'est analogue à l'inverse de notre premier concours:
"Allons-y. Deux meilleurs sur trois?"
"Ok vas-y!"
"Ha, j'ai gagné le premier flip, donc je gagne!"
Cela dit, notez qu'il existe des versions de tests qui vous permettent de surveiller la signification (nominale) au fur et à mesure. Cela fonctionne comme mettre fin à un concours tôt quand il devient trop unilatéral, ce qu'on appelle des règles de miséricorde . Si, au début, il devient extrêmement évident qu'une différence est réelle, vous pouvez gagner du temps et des efforts en mettant fin au test. Ces procédures sont appelées procédures de test d'hypothèses séquentielles . On pourrait faire valoir que cela devrait être votre méthode standard pour effectuer des tests AB, car à long terme, vous passerez moins de temps et d'efforts dans l'ensemble.
