Pourquoi l'efficacité relative asymptotique du test de Wilcoxon est-elle de

Il est bien connu que l'efficacité relative asymptotique (ARE) du test de rang signé de Wilcoxon est de $\frac{3}{\pi} \approx 0.955$ par rapport autestt deStudent, si les données sont tirées d'une population normalement distribuée. Cela est vrai à la fois pour le test de base à un échantillon et pour la variante pour deux échantillons indépendants (le Wilcoxon-Mann-Whitney U). C'est aussi l'ARE d'un test de Kruskal-Wallis par rapport à un test ANOVAF, pour des données normales.

Ce résultat remarquable (pour moi, une des " apparitions les plus inattendues de $\pi$ ") et remarquablement simple a-t-il une preuve perspicace, remarquable ou simple?

nonparametric wilcoxon-mann-whitney asymptotics efficiency wilcoxon-signed-rank Silverfish
la source

Compte tenu de l'apparition de

π

$\pi$ dans la cdf normale, l'apparition de

π

$\pi$ dans l'ARE ne devrait pas vraiment être tout à fait surprenant. Je vais hasarder une réponse, mais il faudra un certain temps pour en faire une bonne.

Glen_b -Reinstate Monica

@Glen_b En effet - J'ai déjà vu une discussion "pourquoi

π

$\pi$ apparaît-il autant dans les statistiques" (mais je ne me souviens pas si c'était sur CV ou non) et "à cause de la distribution normale" je sais que ça revient souvent, mais

3 / π

$3/\pi$ est toujours agréablement surprenant la première fois que vous le voyez. Pour comparaison, l'ARE de Mann-Whitney vs le test t à deux échantillons est de 3 sur les données exponentielles, 1,5 sur la double exponentielle et 1 sur l'uniforme - beaucoup plus rond!

Silverfish

@Silverfish J'ai lié la page 197 de van der Vaart "Statistiques asymptotiques". Pour un échantillon, les tests de signe ont ARE

2 / π

$2/\pi$ rapport au test t.

Khashaa

@Silverfish ... et à la logistique c'est

(π / 3)^{2}

$(\pi/3)^2$ . Il existe un bon nombre des ARE bien connus (dans un ou deux cas d'échantillon) impliquant

π

$\pi$ et un assez grand nombre qui sont de simples rapports d'entiers.

Glen_b -Reinstate Monica

Pour le test de rang signé à un échantillon, il semble être

3 / π

$3/\pi$ . Pour le test de signe à un échantillon, il s'agit de

2 / π

$2/\pi$ . Nous avons donc clarifié notre position. Je pense que c'est un bon signe.

Khashaa

Réponses:

Bref croquis de ARE pour le test à un échantillon $t$ , le test signé et le test de rang signé

Je m'attends à ce que la version longue de la réponse de @ Glen_b comprenne une analyse détaillée pour le test de classement signé à deux échantillons ainsi que l'explication intuitive de l'ARE. Je vais donc ignorer la plupart des dérivations. (cas d'un échantillon, vous pouvez trouver les détails manquants dans Lehmann TSH).

Problème de test : Soit un échantillon aléatoire du modèle de localisation , symétrique par rapport à zéro. Nous devons calculer ARE de test signé, test de rang signé pour l'hypothèse rapport au test t. $X_1,\ldots,X_n$ $f(x-\theta)$ $H_0: \theta=0$

Pour évaluer l'efficacité relative des tests, seules les alternatives locales sont prises en compte car les tests cohérents ont une puissance tendant à 1 contre une alternative fixe. Les alternatives locales qui donnent lieu à une puissance asymptotique non triviale sont souvent de la forme pourfixe, qui est appelédérive de Pitmandans certaines publications. $\theta_n=h/\sqrt{n}$ $h$

Notre tâche à venir est

trouver la distribution limite de chaque statistique de test sous la valeur nulle
trouver la distribution limite de chaque statistique de test sous l'alternative
calculer la puissance asymptotique locale de chaque test

Test statistique et asymptotique

test t (étant donné l'existence de ) t n = √t n = √
$t_{n} = \sqrt{n} \frac{\bar{X}}{\hat{σ}} \to_{d} N (0, 1) under the null$

$t_{n} = \sqrt{n} \frac{\bar{X}}{\hat{σ}} \to_{d} N (h / σ, 1) under the alternative θ = h / \sqrt{n}$
- donc le test qui rejette si a une fonction de puissance asymptotique $t_n>z_\alpha$ $1 - Φ (z_{α} - h \frac{1}{σ})$ $1-\Phi\left(z_\alpha-h\frac{1}{\sigma}\right)$
test signé $S_n=\frac{1}{n}\sum_{i=1}^{n}1\{X_i>0\}$ $\sqrt{n} (S_{n} - \frac{1}{2}) \to_{d} N (0, \frac{1}{4}) under the null$ $\sqrt{n}\left(S_n-\frac{1}{2}\right)\to_dN\left(0,\frac{1}{4}\right)\quad \text{under the null }$ et a un pouvoir asymptotique local $\sqrt{n} (S_{n} - \frac{1}{2}) \to_{d} N (h f (0), \frac{1}{4}) under the alternative$ $\sqrt{n}\left(S_n-\frac{1}{2}\right)\to_dN\left(hf(0),\frac{1}{4}\right)\quad \text{under the alternative }$ $1 - Φ (z_{α} - 2 h f (0))$ $1-\Phi\left(z_\alpha-2hf(0)\right)$
test de rang signé $W_{n} = n^{- 2 / 3} \sum_{i = 1}^{n} R_{i} 1 {X_{i} > 0} \to_{d} N (0, \frac{1}{3}) under the null$ $W_n=n^{-2/3}\sum_{i=1}^{n}R_i1\{X_i>0\}\to_dN\left(0,\frac{1}{3}\right)\quad \text{under the null }$ et a une puissance asymptotique locale $W_{n} \to_{d} N (2 h \int f^{2}, \frac{1}{3}) under the alternative$ $W_n\to_dN\left(2h\int f^2,\frac{1}{3}\right)\quad \text{under the alternative }$ $1 - Φ (z_{α} - \sqrt{12} h \int f^{2})$ $1-\Phi\left(z_\alpha-\sqrt{12}h\int f^2\right)$

Par conséquent,

A R E (S_{n}) = (2 f (0) σ)^{2}

$ARE(S_n)=(2f(0)\sigma)^2$

est la densité normale standard,

A R E (W_{n}) = (\sqrt{12} \int f^{2} σ)^{2}

$ARE(W_n)=(\sqrt{12}\int f^2\sigma)^2$

f

$f$

A R E (S_{n}) = 2 / π

$ARE(S_n)=2/\pi$

A R E (W_{n}) = 3 / π

$ARE(W_n)=3/\pi$

Si est uniforme sur [-1,1], , $f$ $ARE(S_n)=1/3$ $ARE(W_n)=1/3$

Remarque sur la dérivation de la distribution sous l'alternative

Il existe bien sûr de nombreuses façons de dériver la distribution limite sous l'alternative. Une approche générale consiste à utiliser le troisième lemme de Le Cam. Version simplifiée de celui-ci indique

Soit le log du rapport de vraisemblance. Pour certains statistique , si $\Delta_n$ $W_n$
$(W_{n}, Δ_{n}) \to_{d} N [(\begin{matrix} μ \\ - σ^{2} / 2 \end{matrix}), (\begin{array}{cc} σ_{W}^{2} & τ \\ τ & σ^{2} / 2 \end{array})]$ $(W_n,\Delta_n)\to_d N\left[\left(\begin{array}{c} \mu\\ -\sigma^2/2 \end{array}\right),\left(\begin{array}{cc} \sigma^2_W & \tau \\ \tau & \sigma^2/2 \end{array}\right)\right]\\$ sous le nul, alors $W_{n} \to_{d} N (μ + τ, σ_{W}^{2}) under the alternative$ $W_n\to_d N\left(\mu+\tau,\sigma^2_W\right)\quad\text{under the alternative}$

$\mathrm{cov}(W_n,\Delta_n)$ $\Delta_n$

Δ_{n} \approx \frac{h}{\sqrt{n}} \sum_{i = 1}^{n} l (X_{i}) - \frac{1}{2} h^{2} I_{0}

$\Delta_n\approx \frac{h}{\sqrt{n}}\sum_{i=1}^{n}l(X_i)-\frac{1}{2}h^2I_0$

l

$l$

I_{0}

$I_0$

S_{n}

$S_n$

c o v (\sqrt{n} (S_{n} - 1 / 2), Δ_{n}) = - h c o v (1 {X_{i} > 0}, \frac{f^{'}}{f} (X_{i})) = h \int_{0}^{\infty} f^{'} = h f (0)

$\mathrm{cov}(\sqrt{n}(S_n-1/2),\Delta_n)=-h\mathrm{cov}\left(1\{X_i>0\},\frac{f'}{f}(X_i)\right)=h\int_0^\infty f'=hf(0)$

Khashaa
la source

+1 Je n'allais pas entrer dans ces détails (en effet, avec votre réponse couvrant déjà très bien les choses, je n'ajouterai probablement rien à ce que j'ai maintenant) donc si vous voulez mettre plus de détails, ne t retenir mon compte. J'aurais été encore plusieurs jours (et toujours pour moins que vous ne l'avez déjà fait), donc c'est une bonne chose que vous soyez entré.

Glen_b -Reinstate Monica

This is a nice answer particularly for adding in Le Cam's lemma (+1). It seems to me there is quite a big jump between establishing the asymptotics in 1, 2, and 3, and the "therefore" bit where you write the AREs. I think if I were writing this up, I'd define asymptotic efficiency at this point (or maybe earlier, so the upshot of points 1, 2 and 3 would be the AEs not just local asymptotic powers in each case) and then the step to the AREs would be much easier for future readers to follow.

Silverfish

Perhaps it is worth specifying your

H_{1}

$H_1$ ? One-sided and two-sided cases have different-looking asymptotic powers (though they lead to the same AREs).

Silverfish

N'hésitez pas à modifier ma réponse ou à l'ajouter à l'OP.

Khashaa

@Khashaa Thanks. I shall edit your post when I have the right stuff in front of me. Would you mind clarifying the meaning of the

*

$*$ in the final equation?

Silverfish

This has nothing to do with explaining why $\pi$ appears (which was explained nicely by others) but may help intuitively. The Wilcoxon test is a $t$ -test on the ranks of $Y$ whereas the parametric test is computed on the raw data. The efficiency of the Wilcoxon test with respect to the $t$ -test is the square of the correlation between the scores used for the two tests. As $n\rightarrow \infty$ the squared correlation converges to $\frac{\pi}{3}$ . You can easily see this empirically using R:

n <- 1000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549402
[1] 0.9549297
n <- 100000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549298
[1] 0.9549297

Frank Harrell
la source

This is indeed a very helpful comment. Is it slightly conceptually closer to do n <- 1e6; x <- rnorm(n); cor(x, rank(x))^2 (which obviously produces the same result)?

Silverfish

(People intrigued by Frank's comment may want to look at this question about the equivalence of Wilcoxon-Mann-Whitney U and a t-test on the ranks.)

Silverfish

something I don't understand about this answer is that the correlation is higher for lower values of

n

$n$ (I think the proximal reason is that we don't see the tails very well for smaller

n

$n$ ). Naively that implies that the relative efficiency of the Wilcoxon is higher for small

n

$n$ , which surprises me ... ?? (I might do some simulations, but (a) if there's an easy answer ... and (b) am I missing a conceptual point somewhere?)

Ben Bolker

Si je me souviens bien, l'efficacité du petit échantillon du test de rang signé par Wilcoxon et du WMW est un peu inférieure à la valeur asymptotique des alternatives de décalage à la distribution normale.

Glen_b -Reinstate Monica

Version courte: La raison fondamentale avec Wilcoxon-Mann-Whitney dans une alternative de décalage est que trouver l'efficacité relative asymptotique (WMW / t) correspond à évaluer $12\sigma^2[\int f^2(x) dx]^2$ où $f$ est la densité commune au nul et $\sigma$ est la variance commune.

Donc, à la normale, $f^2$ est en fait une version à l'échelle de $f$ ; son intégrale aura un $\frac{1}{\sqrt{\pi}}$ terme; au carré, c'est la source du $\frac{ \;}{\pi}$ .

Le même terme - avec la même intégrale - est impliqué dans l'ARE pour le test de classement signé, il prend donc la même valeur.

Pour le test de signe relatif à t, l'ARE est $4\sigma^2f(0)^2$ ... et $f(0)^2$ a encore une $\frac{ \;}{\pi}$ en elle.

Donc, c'est essentiellement comme je l'ai dit dans les commentaires; $\pi$ est dans l'ARE pour le test de Wilcoxon-Mann-Whitney vs le test t à deux échantillons, pour le test de rang signé Wilcoxon vs le t à un échantillon et le test de signe vs le test t à un échantillon (dans chaque cas à la normale) littéralement parce qu'il apparaît dans la densité normale.

Référence:

JL Hodges et EL Lehmann (1956),
"L'efficacité de certains concurrents non paramétriques du test t",
Ann. Math. Statist. , 27 : 2, 324-335.

Glen_b -Reinstate Monica
la source

I like the explanation for the intuition for the appearance of

π

$\pi$ in the denominator; is it essentially coincidence that the Renyi entropy turns up in the WMW/Wilcoxon integrals?

Silverfish

@Silverfish That

\int f^{2} d x

$\int f^2 dx$ turns up is certainly not coincidence. However, that's not because that's connected to Rényi entropy, or at least I don't see any direct connection. We're getting into stuff I don't really know about now, though.

Glen_b -Reinstate Monica

@Silverfish It's only a Renyi entropy for

α = 2

$\alpha=2$ . Otherwise, it is just a plain old square that can come up in a million different ways.

abalter