Pourquoi les statisticiens disent-ils qu'un résultat non significatif signifie «vous ne pouvez pas rejeter le zéro» plutôt que d'accepter l'hypothèse nulle?

Les tests statistiques traditionnels, tels que le test t à deux échantillons, visent à éliminer l'hypothèse selon laquelle il n'y a pas de différence entre une fonction de deux échantillons indépendants. Ensuite, nous choisissons un niveau de confiance et disons que si la différence de moyennes dépasse 95%, nous pouvons rejeter l'hypothèse nulle. Sinon, nous "ne pouvons pas rejeter l'hypothèse nulle". Cela semble impliquer que nous ne pouvons pas l'accepter non plus. Cela signifie-t-il que nous ne sommes pas sûrs que l'hypothèse nulle soit vraie?

Maintenant, je veux concevoir un test où mon hypothèse est que la fonction de deux échantillons est la même (ce qui est le contraire des tests statistiques traditionnels où l’hypothèse est que les deux échantillons sont différents). Donc, mon hypothèse nulle devient que les deux échantillons sont différents. Comment dois-je concevoir un tel test? Sera-t-il aussi simple que de dire que si la valeur p est inférieure à 5%, nous pouvons accepter l'hypothèse selon laquelle il n'y a pas de différence significative?

$0$

$0$$0.01$$(-4.99,\ 5.01)$$0$$0.01$$(0.005,\ 0.015)$

$0$

$0$pour tous vos besoins, vous effectuez ensuite un test unilatéral pour déterminer si la valeur observée est inférieure à la limite supérieure de cet intervalle et un autre test unilatéral pour voir si elle est supérieure à la limite inférieure. Si ces deux tests sont significatifs, vous avez alors rejeté l'hypothèse selon laquelle la valeur réelle se situe en dehors de l'intervalle qui vous tient à cœur. Si l'un (ou les deux) ne sont pas significatifs, vous ne rejetez pas l'hypothèse selon laquelle la valeur vraie est en dehors de l'intervalle.

$(-0.02,\ 0.02)$$0.01$$0$$(-0.02,\ 0.02)$, ce qui peut sembler déroutant au début, mais est tout à fait compatible avec la logique du test des hypothèses.)

Prenons le cas où l'hypothèse nulle est qu'une pièce de monnaie a 2 têtes, c'est-à-dire que la probabilité de têtes est de 1. Maintenant, les données sont le résultat du fait de retourner une pièce de monnaie une seule fois et de voir les têtes. Cela donne une valeur p de 1,0 qui est supérieure à chaque alpha raisonnable. Est-ce que cela signifie que la pièce a 2 têtes? cela pourrait être, mais cela pourrait aussi être une pièce équitable et nous avons vu des têtes par hasard (cela se produirait 50% du temps avec une pièce équitable). Ainsi, la valeur p élevée dans ce cas indique que les données observées sont parfaitement cohérentes avec le zéro, mais également avec d'autres possibilités.

Tout comme un verdict "non coupable" devant un tribunal peut signifier que le défendeur est innocent, cela peut également être dû au fait que le défendeur est coupable mais que les preuves sont insuffisantes. La même chose avec l'hypothèse nulle que nous ne parvenons pas à rejeter car ce dernier pourrait être vrai ou nous pourrions ne pas disposer de suffisamment de preuves pour les rejeter, même si elles sont fausses.

L'absence de preuve n'est pas une preuve d'absence (titre d'un article de Altman, Bland sur le BMJ). Les valeurs prédictives ne nous donnent la preuve d'une absence que lorsque nous les considérons comme significatives. Sinon, ils ne nous disent rien. Par conséquent, absence de preuve. En d'autres termes: nous ne savons pas et plus de données peuvent aider.

$H_0$

$H_1$$H_0$

$H_0$

Si nous avons deux échantillons dont nous nous attendons à être distribués de manière identique, notre hypothèse nulle est que les échantillons sont les mêmes. Si nous avons deux échantillons que nous nous attendions à être (énormément) différents, notre hypothèse nulle est qu'ils sont différents.