Quelle fraction des expériences répétées aura une taille d'effet dans l'intervalle de confiance à 95% de la première expérience?

Restons sur une situation idéale avec un échantillonnage aléatoire, des populations gaussiennes, des variances égales, pas de piratage P, etc.

Étape 1. Vous exécutez une expérience, par exemple en comparant deux moyennes d'échantillon, et calculez un intervalle de confiance à 95% pour la différence entre les deux moyennes de population.

Étape 2. Vous exécutez de nombreuses autres expériences (des milliers). La différence entre les moyennes variera d'une expérience à l'autre en raison d'un échantillonnage aléatoire.

Question: Quelle fraction de la différence entre les moyennes de la collection d'expériences à l'étape 2 se situera dans l'intervalle de confiance de l'étape 1?

Cela ne peut pas être répondu. Tout dépend de ce qui s'est passé à l'étape 1. Si cette expérience de l'étape 1 était très atypique, la réponse à la question pourrait être très faible.

Imaginez donc que les deux étapes sont répétées plusieurs fois (avec l'étape 2 répétée plusieurs fois). Maintenant, je pense qu'il devrait être possible de prévoir quelle fraction des expériences répétées, en moyenne, a une taille d'effet dans l'intervalle de confiance à 95% de la première expérience.

Il semble que la réponse à ces questions doit être comprise pour évaluer la reproductibilité des études, un domaine très chaud actuellement.

Une analyse

Parce qu'il s'agit d'une question conceptuelle, considérons pour simplifier la situation dans laquelle un intervalle de confiance est construit pour une moyenne utilisant un un échantillon aléatoire de taille et un deuxième échantillon aléatoire est prélevé de taille , tous de la même distribution normale . (Si vous le souhaitez, vous pouvez remplacer les s par des valeurs de la distribution de Student de degrés de liberté; l'analyse suivante ne changera pas.)[ ˉ x ( $1-\alpha$μx(1)nx(2)m(μ

$$\left[\bar x^{(1)} + Z_{\alpha/2} s^{(1)}/\sqrt{n}, \bar x^{(1)} + Z_{1-\alpha/2} s^{(1)}/\sqrt{n}\right]$$ $\mu$$x^{(1)}$$n$$x^{(2)}$$m$Z t n - $(\mu,\sigma^2)$$Z$$t$$n-1$

La chance que la moyenne du deuxième échantillon se situe dans l'IC déterminé par le premier est

$$\Pr\left(\bar x^{(1)} + \frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)} \le \bar x^{(1)} + \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right) =\Pr\left(\frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)}-\bar x^{(1)} \le \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right).$$

Étant donné que la première moyenne d'échantillon est indépendante de l'écart type du premier échantillon (cela nécessite une normalité) et que le deuxième échantillon est indépendant du premier, la différence dans l'échantillon signifie est indépendant de . De plus, pour cet intervalle symétrique . Par conséquent, en écrivant pour la variable aléatoire et en mettant les deux inégalités au carré, la probabilité en question est la même ques(1)U= ˉ x (2)- ˉ x (1)s(1)Zα/2=-Z1-α/2Ss(1$\bar x^{(1)}$$s^{(1)}$$U = \bar x^{(2)} - \bar x^{(1)}$$s^{(1)}$$Z_{\alpha/2}=-Z_{1-\alpha/2}$$S$$s^{(1)}$

$$\Pr\left(U^2 \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2 S^2\right)= \Pr\left(\frac{U^2}{S^2} \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2\right).$$

Les lois de l'espérance impliquent que a une moyenne de et une variance de$U$$0$

$$\operatorname{Var}(U) = \operatorname{Var}\left(\bar x^{(2)} - \bar x^{(1)}\right) = \sigma^2\left(\frac{1}{m} + \frac{1}{n}\right).$$

Puisque est une combinaison linéaire de variables normales, il a également une distribution normale. Par conséquent, est fois une variable . Nous savions déjà que est fois une variable . Par conséquent, est fois une variable avec une distribution . La probabilité requise est donnée par la distribution F commeU 2 σ 2 ( $U$$U^2$χ2(1)S2σ2/nχ2(n-1)U2/S21/n+1/mF(1,n-1$\sigma^2\left(\frac{1}{n} + \frac{1}{m}\right)$$\chi^2(1)$$S^2$$\sigma^2/n$$\chi^2(n-1)$$U^2/S^2$$1/n + 1/m$$F(1,n-1)$

$$F_{1,n-1}\left(\frac{Z_{1-\alpha/2}^2}{1 + n/m}\right).\tag{1}$$

---

Discussion

Un cas intéressant est celui où le deuxième échantillon a la même taille que le premier, de sorte que et seulement et déterminent la probabilité. Voici les valeurs de représentées par pour .n α ( 1 ) α n = 2 , 5 , 20 , $n/m=1$$n$$\alpha$$(1)$$\alpha$$n=2,5,20,50$

Les graphiques montent à une valeur limite à chaque lorsque augmente. La taille de test traditionnelle est marquée par une ligne grise verticale. Pour des valeurs plus grandes de , la chance limite pour est d'environ .n α = 0,05 n = m α = 0,05 85 $\alpha$$n$$\alpha=0.05$$n=m$$\alpha=0.05$$85\%$

En comprenant cette limite, nous examinerons les détails des petits échantillons et nous comprendrons mieux le nœud du problème. Lorsque grandit, la distribution s'approche d'une distribution . En termes de distribution normale standard , la probabilité se rapproche alorsF χ 2 ( 1 ) Φ ( 1 $n=m$$F$$\chi^2(1)$$\Phi$$(1)$

$$\Phi\left(\frac{Z_{1-\alpha/2}}{\sqrt{2}}\right) - \Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) = 1 - 2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) .$$

Par exemple, avec , et . Par conséquent, la valeur limite atteinte par les courbes à lorsque augmente sera . Vous pouvez voir qu'il a presque été atteint pour (où la chance est de .)$\alpha=0.05$$Z_{\alpha/2}/\sqrt{2} \approx -1.96/1.41 \approx -1.386$$\Phi(-1.386) \approx 0.083$$\alpha=0.05$$n$$1 - 2(0.083) = 1 - 0.166=0.834$$n=50$$0.8383\ldots$

Pour les petits , la relation entre et la probabilité complémentaire - le risque que l'IC ne couvre pas la deuxième moyenne - est presque parfaitement une loi de puissance. $\alpha$$\alpha$ Une autre façon d'exprimer cela est que la probabilité complémentaire log est presque une fonction linéaire de . La relation limitante est approximativement$\log\alpha$

$$\log\left(2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right)\right) \approx -1.79712 + 0.557203\log(20 \alpha) + 0.00657704 (\log(20 \alpha))^2 + \cdots$$

En d'autres termes, pour un grand et n'importe où près de la valeur traditionnelle de , sera proche de$n=m$$\alpha$$0.05$$(1)$

$$1 - 0.166 (20\alpha)^{0.557}.$$

(Cela me rappelle beaucoup l'analyse des intervalles de confiance qui se chevauchent que j'ai publiée sur /stats//a/18259/919 . En effet, le pouvoir magique là-bas, , est presque à l'inverse du pouvoir magique ici, . À ce stade, vous devriez être en mesure de réinterpréter cette analyse en termes de reproductibilité des expériences.)$1.91$$0.557$

---

Résultats expérimentaux

Ces résultats sont confirmés par une simulation simple. Le Rcode suivant renvoie la fréquence de couverture, la chance calculée avec et un score Z pour évaluer leur différence. Les scores Z sont généralement inférieurs à , indépendamment de (ou même si un IC ou est calculé), indiquant l'exactitude de la formule .2 n , m , μ , σ , α Z t ( 1 $(1)$$2$$n, m, \mu, \sigma, \alpha$$Z$$t$$(1)$

n <- 3      # First sample size
m <- 2      # Second sample size
sigma <- 2 
mu <- -4
alpha <- 0.05
n.sim <- 1e4
#
# Compute the multiplier.
#
Z <- qnorm(alpha/2)
#Z <- qt(alpha/2, df=n-1) # Use this for a Student t C.I. instead.
#
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + Z * s.1 / sqrt(n)
u.1 <- x.1.bar - Z * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(m*n.sim, mu, sigma), nrow=m))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
# Compute the theoretical chance and compare it to the simulated frequency.
#
f <- pf(Z^2 / ((n * (1/n + 1/m))), 1, n-1)
m.covers <- mean(covers)
(c(Simulated=m.covers, Theoretical=f, Z=(m.covers - f)/sd(covers) * sqrt(length(covers))))

[Modifié pour corriger le bug signalé par WHuber.]

J'ai modifié le code R de @ Whuber pour utiliser la distribution t et la couverture du tracé en fonction de la taille de l'échantillon. Les résultats sont ci-dessous. À une taille d'échantillon élevée, les résultats correspondent bien sûr à ceux de WHuber.

Et voici le code R adapté, exécuté deux fois avec alpha réglé sur 0,01 ou 0,05.

sigma <- 2 
mu <- -4
alpha <- 0.01
n.sim <- 1e5
#
# Compute the multiplier.

for (n in c(3,5,7,10,15,20,30,50,100,250,500,1000))
{
   T <- qt(alpha/2, df=n-1)     
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + T * s.1 / sqrt(n)
u.1 <- x.1.bar - T * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(n*n.sim, mu, sigma), nrow=n))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
Coverage=mean(covers)

print (Coverage)

}

Et voici le fichier GraphPad Prism qui a fait le graphique.