Un intervalle de confiance étroit autour d'un effet non significatif peut-il prouver le nul?

9

Il est évidemment fallacieux de supposer que le fait de ne pas rejeter le null implique que le null est vrai. Mais dans un cas où le nul n'est pas rejetée et l'est étroite et centrée sur 0 intervalle de confiance (CI) correspondant, ne fournit pas cette preuve pour l'hypothèse nulle?

Je suis de deux esprits: Oui, dans la pratique, cela fournirait la preuve que l'effet est plus ou moins 0. Cependant, dans un cadre de test d'hypothèse strict, il semble que les effets nuls soient simplement inutilisables pour l'inférence, tout comme leurs IC correspondants. Quelle est donc la signification d'un IC lorsque son estimation ponctuelle n'est pas significative? Est-il également inutilisable pour l'inférence ou peut-il être utilisé comme dans l'exemple précédent pour quantifier la preuve de la nullité?

Les réponses contenant des références savantes sont encouragées.

ATJ
la source
Vous serez probablement intéressé par des tests d' équivalence et des questions sur le site le détaillant. Voir Comment tester l'hypothèse d'absence de différences de groupe? pour un exemple.
Andy W
1
Si vous voulez dire la preuve d'un point nul contre l'alternative de toute autre chose ... alors, non. Le nombre infiniment infini d'alternatives entre la très petite valeur observée et la valeur nulle sera toujours plus probable que la valeur nulle. Si vous voulez dire autre chose, alors peut-être dans certaines circonstances.
Glen_b -Reinstate Monica
Oui, alors ce serait une question de tests équivalents, un terme dont je n'avais pas encore entendu parler.
ATJ

Réponses:

6

En bref: oui.

Comme l'a écrit Andy W, conclure que le paramètre est égal à une valeur spécifiée (dans votre cas, la taille de l'effet est égal à zéro), est une question de test d'équivalence.

Dans votre cas, cet intervalle de confiance étroit peut en fait indiquer que l'effet est pratiquement nul, c'est-à-dire que l'hypothèse nulle de l'équivalence peut être rejetée. Une équivalence significative au niveau est généralement montrée par un intervalle de confiance ordinaire 1 - 2 α qui se situe complètement dans un intervalle d'équivalence prédéfini. Cet intervalle d'équivalence tient compte du fait que vous êtes capable de négliger des écarts vraiment infimes, c'est-à-dire que toutes les tailles d'effet dans cet intervalle d'équivalence peuvent être considérées comme pratiquement équivalentes. (Le test statistique d'égalité n'est pas possible.)1α12α

Veuillez consulter «Tester les hypothèses statistiques d'équivalence et de non-infériorité» de Stefan Wellek pour une lecture plus approfondie, le livre le plus complet sur cette question.

Horst Grünbusch
la source
2

Des hypothèses nulles illustrent la signification de «Tous les modèles sont faux, mais certains sont utiles». Ils sont probablement plus utiles s'ils ne sont pas pris à la lettre et hors contexte - c'est-à-dire qu'il est important de se rappeler le but épistémique du null. Si elle peut être falsifiée, ce qui est l'objectif visé, alors l'alternative devient plus utile par comparaison, quoique encore peu informative. Si vous rejetez le null, vous dites que l'effet n'est probablement pas nul (ou peu importe - les hypothèses nulles peuvent également spécifier d'autres valeurs pour la falsification) ... alors qu'est-ce que c'est alors?

0.0¯

pn=1MN(0,1)x=c()x=append(x,replicate(500,cor(rnorm(999999),rnorm(999999))))autant de fois que je le voulais avant de terminer cette réponse, ce qui m'a finalement donné 6000 échantillons. Voici un histogramme et un diagramme de densité utilisant hist(x,n=length(x)/100)et plot(density(x)), respectivement:

    

skew(x)kurtosis(x)n=1M

|r|=.004n=9991M|r|=.14

Un IC est probablement plus utile pour l'inférence qu'un NHST en général. Il ne représente pas seulement à quel point une idée peut être mauvaise de supposer que le paramètre est négligeable; il représente une bonne idée de ce qu'est réellement le paramètre. On peut toujours décider si cela est négligeable, mais on peut aussi avoir une idée de son caractère non négligeable. Pour plus d'informations sur les intervalles de confiance, voir Cumming (2014 , 2013) .

Références
- Cumming, G. (2013). Comprendre les nouvelles statistiques: ampleur des effets, intervalles de confiance et méta-analyse . Routledge.
- Cumming, G. (2014). Les nouvelles statistiques: pourquoi et comment. Psychological Science, 25 (7), 7–29. Extrait de http://pss.sagepub.com/content/25/1/7.full.pdf+html .

Nick Stauner
la source
Merci, je connais très bien le travail de Cumming. Je suppose que ma question allait plus dans le sens de "si l'estimation ponctuelle ES n'est pas significative, alors les IC peuvent-ils être utilisés pour l'inférence? (Ou sont-ils" nuls "c'est-à-dire inutiles comme estimation ponctuelle)"
ATJ
1
1αα
cor.test(rnorm(9999999),rnorm(9999999)){0.00063,0.00060}r=0.00029