C'est une question purement hypothétique. Une déclaration très courante est que$H_0$ n'est jamais vrai, c'est juste une question de taille d'échantillon.

Supposons que, pour de vrai, il n'y ait absolument aucune différence mesurable entre deux moyennes ( ) tirées d'une population normalement distribuée (pour et estimé ). Nous supposons par groupe et nous utilisons -test. Cela signifierait que la valeur de est ce qui indique qu'il n'y a absolument aucun écart par rapport à . Cela indiquerait que la statistique de test est . La différence moyenne entre les groupes serait de . Quelles seraient les limites de l' intervalle de confiance à pour la différence moyenne dans ce cas? Seraient-ils$\mu_1=\mu_2$$\mu=0$$\sigma$$=1$$N=16$$t$$p$$1.00000$$H_0$$0$$0$$95\%$$[0.0, 0.0]$ ?

Le point principal de ma question était que quand pouvons-nous vraiment dire que est vrai, c'est-à-dire dans ce cas? Ou quand, dans un cadre fréquentiste, nous pouvons vraiment dire «aucune différence» en comparant deux moyennes?$H_0$$\mu_1=\mu_2$

Un intervalle de confiance pour un test t est de la forme , où et sont les moyennes des échantillons, est la valeur critique au donné , et est l'erreur standard de la différence de moyennes. Si , alors . Ainsi, la formule est simplement , et les limites sont simplement { ,$\bar{x}_1 - \bar{x}_2 \pm t_{\text{crit}, \alpha}s_{\bar{x}_1 - \bar{x}_2}$$\bar{x}_1$$\bar{x}_2$$t_{\text{crit}, \alpha}$$t$$\alpha$$s_{\bar{x}_1 - \bar{x}_2}$$p=1.0$$\bar{x}_1 - \bar{x}_2 =0$$\pm t_{\text{crit}, \alpha}s_{\bar{x}_1 - \bar{x}_2}$$-t_{\text{crit}, \alpha}s_{\bar{x}_1 - \bar{x}_2}$$t_{\text{crit}, \alpha}s_{\bar{x}_1 - \bar{x}_2}$ }.

Je ne sais pas pourquoi vous pensez que les limites seraientLa valeur critique n'est pas nulle et l'erreur standard de la différence moyenne n'est pas nulle.$\{0,0\}.$$t$

Être super paresseux, utiliser R pour résoudre le problème numériquement plutôt que de faire les calculs à la main:

Définissez une fonction qui donnera des valeurs normalement distribuées avec une moyenne de (presque!) Exactement zéro et une SD d' exactement 1:

rn2 <- function(n) {r <- rnorm(n); c(scale(r)) }

Exécutez un test t:

t.test(rn2(16),rn2(16))

    Welch Two Sample t-test

data:  rn2(16) and rn2(16)
t = 1.7173e-17, df = 30, p-value = 1
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.7220524  0.7220524
sample estimates:
   mean of x    mean of y 
6.938894e-18 8.673617e-19 

Les moyennes ne sont pas exactement nulles à cause de l'imprécision en virgule flottante.

Plus directement, les IC sont $\pm$ sqrt(1/8)*qt(0.975,df=30) ; la variance de chaque moyenne est de 1/16, donc la variance groupée est de 1/8.

Le CI peut avoir n'importe quelle limite, mais il est centré exactement autour de zéro

Pour un test T à deux échantillons (test pour une différence dans la moyenne de deux populations), une valeur de p exactement une correspond au cas où les moyennes d'échantillon observées sont exactement égales. † (Les écarts d'échantillon peuvent prendre n'importe quelle valeur.) Pour voir cela, notez que la fonction de valeur p pour le test est:$^\dagger$

Ainsi, définir donne:$\bar{x}=\bar{y}$

Supposons maintenant que vous formiez l'intervalle de confiance standard (approximatif) en utilisant l'approximation de Welch-Satterwaite. Dans ce cas, en supposant que (pour donner une valeur de p exacte de un) donne l'intervalle de confiance:$\bar{x}=\bar{y}$

où les degrés de liberté sont déterminés par l'approximation de Welch-Satterwaite. Selon les variances d'échantillonnage observées dans le problème, l'intervalle de confiance peut être tout intervalle fini centré autour de zéro. Autrement dit, l'intervalle de confiance peut avoir toutes les limites, tant qu'il est centré exactement autour de zéro.$DF$

$^\dagger$ Bien sûr, si les données sous-jacentes proviennent réellement d'une distribution continue, cet événement se produit avec une probabilité nulle, mais supposons qu'il se produise.

Il est difficile d'avoir une discussion philosophique convaincante sur des choses qui n'ont aucune probabilité de se produire. Je vais donc vous montrer quelques exemples liés à votre question.

Si vous avez deux énormes échantillons indépendants de la même distribution, alors les deux échantillons auront toujours une certaine variabilité, la statistique t groupée à 2 échantillons sera proche, mais pas exactement 0, la valeur P sera distribuée comme et l'intervalle de confiance à 95% sera très court et centré très près de$\mathsf{Unif}(0,1),$$0.$

Un exemple d'un tel ensemble de données et test t:

set.seed(902)
x1 = rnorm(10^5, 100, 15)  
x2 = rnorm(10^5, 100, 15)
t.test(x1, x2, var.eq=T)

        Two Sample t-test

data:  x1 and x2
t = -0.41372, df = 2e+05, p-value = 0.6791
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.1591659  0.1036827
sample estimates:
mean of x mean of y 
 99.96403  99.99177 

Voici les résultats résumés de 10 000 de ces situations. Tout d'abord, la distribution des valeurs de P.

set.seed(2019)
pv = replicate(10^4, 
   t.test(rnorm(10^5,100,15),rnorm(10^5,100,15),var.eq=T)$p.val)
mean(pv)
[1] 0.5007066   # aprx 1/2
hist(pv, prob=T, col="skyblue2", main="Simulated P-values")
 curve(dunif(x), add=T, col="red", lwd=2, n=10001)

Ensuite, la statistique de test:

set.seed(2019)  # same seed as above, so same 10^4 datasets
st = replicate(10^4, 
       t.test(rnorm(10^5,100,15),rnorm(10^5,100,15),var.eq=T)$stat)
mean(st)
[1] 0.002810332  # aprx 0
hist(st, prob=T, col="skyblue2", main="Simulated P-values")
 curve(dt(x, df=2e+05), add=T, col="red", lwd=2, n=10001)

Et ainsi de suite pour la largeur du CI.

set.seed(2019)
w.ci = replicate(10^4, 
        diff(t.test(rnorm(10^5,100,15),
         rnorm(10^5,100,15),var.eq=T)$conf.int)) 
mean(w.ci)
[1] 0.2629603

Il est presque impossible d'obtenir une valeur P de l'unité en effectuant un test exact avec des données continues, lorsque les hypothèses sont remplies. À tel point qu'un statisticien avisé réfléchira à ce qui aurait pu mal se passer en voyant une valeur P de 1.

Par exemple, vous pouvez donner au logiciel deux grands échantillons identiques . La programmation se poursuivra comme s'il s'agissait de deux échantillons indépendants et donnerait des résultats étranges. Mais même alors, le CI ne sera pas de largeur 0.

set.seed(902)
x1 = rnorm(10^5, 100, 15)  
x2 = x1
t.test(x1, x2, var.eq=T)

        Two Sample t-test

data:  x1 and x2
t = 0, df = 2e+05, p-value = 1
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval: 
 -0.1316593  0.1316593
sample estimates:
mean of x mean of y 
 99.96403  99.96403 

La réponse simple (+1 à Noah) expliquera que l'intervalle de confiance pour la différence moyenne peut toujours être de longueur non nulle car il dépend de la variation observée dans l'échantillon d'une manière différente de la valeur p.

Cependant, vous pourriez toujours vous demander pourquoi c'est comme ça. Comme il n'est pas si étrange d'imaginer qu'une valeur de p élevée signifie également un petit intervalle de confiance. Après tout, ils correspondent tous les deux à quelque chose qui est proche d'une confirmation de l'hypothèse nulle. Alors pourquoi cette pensée n'est-elle pas correcte?

Une valeur de p élevée n'est pas la même chose qu'un petit intervalle de confiance.

• La valeur de p est un indicateur de l'extrême d'une observation particulière (extrême compte tenu d'une hypothèse) en exprimant la probabilité d'observer une déviation donnée. C'est une expression de la taille de l'effet observé par rapport à la précision de l'expérience (une grande taille de l'effet observé peut ne pas signifier beaucoup lorsque l'expérience est si `` inexacte '' que ces observations ne sont pas extrêmes d'un point de vue statistique / probabiliste ). Lorsque vous observez une p-valeur de 1 alors ce (seulement) signifie que vous observé un effet nul parce que la probabilité d'observer ce résultat nul ou plus est égal à 1 (mais ce n'est pas la même chose que qu'il y a un effet nul).

  Sidenote: Pourquoi les valeurs p? La valeur p exprime la taille effective de l'effet observé par rapport aux tailles d'effet attendues (probabilités). Ceci est pertinent car les expériences peuvent, par conception, générer des observations d'une certaine taille d'effet pertinente par pur hasard en raison des fluctuations communes des données / sur les observations. Exiger qu'une observation / expérience ait une valeur de p faible signifie que l'expérience a une haute précision - c'est-à-dire que la taille de l'effet observé est moins souvent / probablement due au hasard / aux fluctuations (et elle peut être probablement due à un effet réel) .

  Sidenote: pour les variables continues, cette valeur de p égale à 1 ne se produit presque jamais car c'est un événement qui a une mesure nulle (par exemple pour une variable distribuée normale vous avez ). Mais pour une variable discrète ou une variable continue discrétisée cela peut être le cas (au moins la probabilité est non nulle).$X\sim N (0,1)$$\mathbb {P}(X=0)=0$

• L'intervalle de confiance peut être considéré comme la plage de valeurs pour lesquelles un   test d'hypothèse de niveau réussirait (pour lequel la valeur p est supérieure à ).$\alpha$$\alpha$

  Vous devriez noter qu'une valeur de p élevée n'est pas (nécessairement) une preuve / un support / quoi que ce soit pour l'hypothèse nulle. La valeur p élevée signifie seulement que l'observation n'est pas remarquable / extrême pour une hypothèse nulle donnée, mais cela pourrait tout aussi bien être le cas pour l'hypothèse alternative (c'est-à-dire que le résultat est conforme aux deux hypothèses effet oui / non). Cela se produit généralement lorsque les données ne contiennent pas beaucoup d'informations (par exemple, un bruit élevé ou un petit échantillon).

Exemple: Imaginez que vous avez un sac de pièces pour lequel vous avez des pièces justes et injustes et que vous souhaitez classer une certaine pièce en la retournant 20 fois. (disons que la pièce est une variable bernoulli avec pour les pièces justes et pour les pièces déloyales. Dans ce cas, lorsque vous observez 10 têtes et 10 queues, alors vous pourriez dire que le p- La valeur est égale à 1, mais je suppose qu'il est évident qu'une pièce de monnaie injuste pourrait tout aussi bien créer ce résultat et nous ne devrions pas exclure la possibilité que la pièce de monnaie soit injuste.$p \approx 0.5$$p \sim U (0,1)$

$H_0$$\mu_1=\mu_2$

Non, car "l'absence de preuves n'est pas une preuve d'absence". La probabilité peut être considérée comme une extension de la logique , avec des incertitudes supplémentaires, alors imaginez un instant qu'au lieu de nombres réels sur un intervalle unitaire, le test d'hypothèse renverrait uniquement les valeurs binaires: 0 (faux) ou 1 (vrai). Dans ce cas, les règles de base de la logique s'appliquent, comme dans l'exemple suivant :

• S'il pleuvait dehors, alors le sol mouillé est probable.
• Le sol est mouillé.
• Par conséquent, il a plu dehors.

Le sol pouvait très bien être mouillé car il pleuvait. Ou cela pourrait être dû à un arroseur, à quelqu'un qui nettoie ses gouttières, à une conduite principale cassée, etc. Des exemples plus extrêmes peuvent être trouvés dans le lien ci-dessus.

$\mu_1 - \mu_2 \to 0$

$p = 1$$\pm 0$$H_0$

Rien ne vous empêche d'utiliser des formules standard de t ou de Gauss pour calculer l'intervalle de confiance - toutes les informations nécessaires sont fournies dans votre question. p = 1 ne signifie pas qu'il y a quelque chose de mal à cela. Notez que p = 1 ne signifie pas que vous pouvez être particulièrement sûr que H0 est vrai. Une variation aléatoire est toujours présente et si u0 = u1 peut se produire sous le H0, elle peut également se produire si la vraie valeur de u0 est légèrement différente de la vraie u1, il y aura donc plus dans l'intervalle de confiance qu'une simple égalité.

Une déclaration très courante est que H0 n'est jamais vrai, c'est juste une question de taille d'échantillon.

Pas parmi les gens qui savent de quoi ils parlent et qui parlent précisément. Les tests d'hypothèse traditionnels ne concluent jamais que le null est vrai, mais le fait que le null soit vrai ou non est distinct de la conclusion que le null est vrai.

Cela signifierait que la valeur p est de 1,00000

Pour un test bilatéral, oui.

indiquant qu'il n'y a absolument aucun écart par rapport à H0.

$H_0$$H_0$$0$$H_0$$H_0$ prédit que cela serait beaucoup plus légitimement appelé un "écart" que de voir simplement un seul échantillon dont la moyenne ne correspond pas au mode.

Quelles seraient les limites de l'intervalle de confiance à 95% pour la différence moyenne dans ce cas?

$f(\epsilon)$$\epsilon$$\lim_{\epsilon \rightarrow 0}f(\epsilon)$

Le point principal de ma question était que quand peut-on vraiment dire que H0 est vrai, c'est-à-dire μ1 = μ2 dans ce cas?

Nous pouvons dire ce que nous voulons. Cependant, dire qu'un test montre que la valeur null est vraie n'est pas cohérent avec le test d'hypothèse traditionnel, quels que soient les résultats. Et cela n'est pas bien fondé du point de vue de la preuve. L'hypothèse alternative, selon laquelle les moyens ne sont pas les mêmes, englobe toutes les différences de moyens possibles. L'hypothèse alternative est "La différence de moyenne est , ou , ou , ou , ou$1$$2$$3$$.5$$.1$, ... "Nous pouvons poser une différence arbitrairement petite dans les moyennes, et cela sera cohérent avec l'hypothèse alternative. Et avec une différence arbitrairement petite, la probabilité étant donnée cette moyenne est arbitrairement proche de la probabilité étant donnée la valeur nulle. En outre, la l'hypothèse alternative englobe non seulement la possibilité que les paramètres des distributions, tels que la moyenne, soient différents, mais qu'il existe une distribution entièrement différente. Par exemple, l'hypothèse alternative englobe "Les deux échantillons auront toujours une différence de est soit exactement 1 soit exactement 0, avec une probabilité de 0,5 pour chaque ". Les résultats sont plus cohérents avec cela qu'ils le sont avec le zéro.