Hypothèse nulle de Mann-Whitney sous variance inégale
9
Je suis simplement curieux de savoir l'hypothèse nulle d'un test de Mann-Whitney U. Je vois souvent qu'il est déclaré que l'hypothèse nulle est que deux populations ont des distributions égales. Mais je pense - si j'avais deux populations normales avec la même variance moyenne mais extrêmement inégale, le test de Mann-Whitney ne détecterait probablement pas cette différence.
J'ai également vu que l'hypothèse nulle du test de Mann-Whitney est ou la probabilité d'une observation d'une population ( X ) dépassant une observation de la deuxième population ( Y ) (après exclusion des liens) est égal à 0,5. Cela semble avoir un peu plus de sens mais ne semble pas équivalent à la première hypothèse nulle que j'ai énoncée.X YPr(X>Y)=0.5XY
J'espère obtenir un peu d'aide pour démêler cela. Merci!
Le test de Mann-Whitney est un cas particulier d'un test de permutation (la distribution sous le nul est dérivée en examinant toutes les permutations possibles des données) et les tests de permutation ont le nul comme des distributions identiques, ce qui est techniquement correct.
Une façon de penser la statistique du test de Mann-Whitney consiste à mesurer le nombre de fois où une valeur choisie au hasard dans un groupe dépasse une valeur choisie au hasard dans l'autre groupe. Donc, le P (X> Y) = 0,5 est également logique et c'est techniquement une propriété des distributions égales nulles (en supposant des distributions continues où la probabilité d'une égalité est 0). Si les 2 distributions sont les mêmes, la probabilité que X soit supérieur à Y est de 0,5 car elles sont toutes deux tirées de la même distribution.
Le cas déclaré de 2 distributions ayant les mêmes variances moyennes mais très différentes correspond à la 2ème hypothèse nulle, mais pas à la 1ère des distributions identiques. Nous pouvons faire une simulation pour voir ce qui se passe avec les valeurs de p dans ce cas (en théorie, elles devraient être uniformément réparties):
> out <- replicate( 100000, wilcox.test( rnorm(25, 0, 2), rnorm(25,0,10) )$p.value )
> hist(out)
> mean(out < 0.05)
[1] 0.07991
> prop.test( sum(out<0.05), length(out), p=0.05 )
1-sample proportions test with continuity correction
data: sum(out < 0.05) out of length(out), null probability 0.05
X-squared = 1882.756, df = 1, p-value < 2.2e-16
alternative hypothesis: true p is not equal to 0.05
95 percent confidence interval:
0.07824054 0.08161183
sample estimates:
p
0.07991
Il est donc clair que cela rejette plus souvent qu'il ne le devrait et l'hypothèse nulle est fausse (cela correspond à l'égalité des distributions, mais pas prob = 0,5).
Penser en termes de probabilité de X> Y se heurte également à des problèmes intéressants si vous comparez des populations basées sur les dés d'Efron .
Salut Greg, merci pour la réponse. Cela ressemble à ce que vous dites, c'est que j'ai trouvé un cas particulier où le test ne fonctionne pas correctement sous les distributions égales nulles. Et de plus, les hypothèses nulles que j'ai énoncées ne sont pas égales. Est-ce exact?
Jimj
4
Mann-Whitney n'est pas sensible aux changements de variance à moyenne égale, mais il peut - comme vous le voyez avec la forme , détecter les différences qui conduisent à s'écarter de (par exemple où la moyenne et la variance augmentent ensemble). Il est clair que si vous aviez deux normales de moyenne égale, leurs différences sont symétriques par rapport à zéro. Par conséquent, , ce qui est la situation nulle.P ( X > Y ) 0,5 P ( X > Y ) = P ( X - Y > 0 ) = 1P( X> Y) = 0,5P( X> Y)0,5P( X> Y) = P( X- Oui> 0 ) = 12
Par exemple, si vous avez la distribution de étant exponentielle avec la moyenne tandis que a une distribution exponentielle avec la moyenne (un changement d'échelle), le Mann-Whitney est sensible à cela (en effet, en prenant des journaux des deux côtés, c'est juste un changement de lieu, et le Mann-Whitney n'est pas affecté par la transformation monotone).1 X kOui1Xk
-
Si vous êtes intéressé par des tests qui sont conceptuellement très similaires à ceux de Mann-Whitney et qui sont sensibles aux différences de répartition sous l'égalité des médianes, il existe plusieurs de ces tests.
Il y a le test Siegel-Tukey et le test Ansari-Bradley, par exemple, tous deux étroitement liés au test à deux échantillons de Mann-Whitney-Wilcoxon.
Ils sont tous deux basés sur l'idée de base du classement à partir des extrémités.
Si vous utilisez R, le test Ansari-Bradley est intégré ... ?ansari.test
Le Siegel-Tukey effectue en fait juste un test de Mann-Whitney-Wilcoxon sur des rangs calculés différemment à partir de l'échantillon; si vous classez les données vous-même, vous n'avez pas vraiment besoin d'une fonction distincte pour les valeurs de p. Néanmoins, vous pouvez en trouver, comme ici:
(par rapport au commentaire de ttnphns sous ma réponse d'origine)
Vous seriez en train de surinterpréter ma réponse pour la lire comme étant en désaccord avec @GregSnow dans un sens particulièrement substantiel. Il y a certainement une différence dans l'accent et dans une certaine mesure dans ce dont nous parlons, mais je serais très surpris s'il y avait beaucoup de désaccord réel derrière cela.
Citons Mann et Whitney: "Une statistique dépendant des rangs relatifs des et des est proposée pour tester l'hypothèse . " C'est sans équivoque; il soutient totalement la position de @ GregSnow.x y f = gUxyf=g
Maintenant, voyons comment la statistique est construite: " Soit compter le nombre de fois qu'un précède un .y x Uyx " Maintenant, si leur null est vrai, la probabilité de cet événement est ... mais il existe d'autres façons d'obtenir une probabilité de 0,5, et en ce sens, on pourrait penser que le test peut fonctionner dans d'autres circonstances. Dans la mesure où ils estiment une probabilité (redimensionnée) que > , cela corrobore ce que j'ai dit.1 YX12YX
Cependant, pour que les niveaux de signification soient garantis exactement corrects, vous auriez besoin de la distribution de pour correspondre à la distribution nulle. Cela est dérivé de l'hypothèse que toutes les permutations des étiquettes des groupes et aux observations combinées sous le zéro étaient également probables. C'est certainement le cas sous . Exactement comme l'a dit @GregSnow.X Y f = gUXYf=g
La question est de savoir dans quelle mesure cela est le cas (c'est-à-dire que la distribution de la statistique de test correspond à celle dérivée sous l'hypothèse que , ou approximativement), pour le plus généralement exprimé nul.f=g
Je crois que dans de nombreuses situations, c'est le cas; en particulier pour des situations incluant mais plus générales que celle que vous décrivez (deux populations normales avec la même variance moyenne mais extrêmement inégale peuvent être généralisées un peu sans modifier la distribution résultante en fonction des rangs), je pense que la distribution de la statistique de test se révèle avoir la même distribution sous laquelle il a été dérivé et devrait donc y être valide. J'ai fait quelques simulations qui semblent soutenir cela. Cependant, ce ne sera pas toujours un test très utile (il peut avoir une mauvaise puissance).
Je n'offre aucune preuve que ce soit le cas. J'ai appliqué un argument d'intuition / ondulé à la main et j'ai également fait des simulations de base qui suggèrent que c'est vrai - que le Mann-Whitney fonctionne (en ce qu'il a la `` bonne '' distribution sous le null) beaucoup plus largement que lorsque .f=g
Faites-en ce que vous voulez, mais je ne l'interprète pas comme un désaccord de fond avec @GregSnow
Est-ce que je vous ai juste que vous êtes d' accord avec ces mots de la page de discussion Mann-Whitney Wikipedia: the null hypothesis of Mann-Whitney U-test is not about the equality of distributions. Is is about the symmetry between two populations with respect to the probability of obtaining a larger observation. Et donc vous n'êtes pas d'accord avec la réponse de @ Greg, non?
ttnphns
J'ai ajouté une discussion en cours d'édition.
Glen_b -Reinstate Monica
Très bel ajout. Je vais l'étudier (j'ai toujours eu l'impression que des nuances dans le test MW continuent de m'échapper). En attendant, serez-vous d'accord si je dis: "Parce que la statistique de test MW reflète uniquement l'égalité (in) des rangs moyens , il peut y avoir des situations où f ~ = g [je comprends f, g comme les distributions originales, classement antérieur] mais le test est néanmoins pleinement pertinent car il continue de traiter le même H0 que sous f = g. Un exemple d'une telle situation est les distributions symétriques entièrement identiques, sauf pour le paramètre d'étalement (variance) ".
ttnphns
Dans la notation (Mann et Whitney par la voie), et sont les densités de et . Je conviens que dans la mesure où j'ai vérifié / compris les circonstances, votre déclaration semble être le cas. Je soupçonne qu'il y a encore beaucoup de choses sur le Mann-Whitney qui m'échappe également. g X YfgXY
Mann-Whitney n'est pas sensible aux changements de variance à moyenne égale, mais il peut - comme vous le voyez avec la forme , détecter les différences qui conduisent à s'écarter de (par exemple où la moyenne et la variance augmentent ensemble). Il est clair que si vous aviez deux normales de moyenne égale, leurs différences sont symétriques par rapport à zéro. Par conséquent, , ce qui est la situation nulle.P ( X > Y ) 0,5 P ( X > Y ) = P ( X - Y > 0 ) = 1P( X> Y) = 0,5 P( X> Y) 0,5 P( X> Y) = P( X- Oui> 0 ) = 12
Par exemple, si vous avez la distribution de étant exponentielle avec la moyenne tandis que a une distribution exponentielle avec la moyenne (un changement d'échelle), le Mann-Whitney est sensible à cela (en effet, en prenant des journaux des deux côtés, c'est juste un changement de lieu, et le Mann-Whitney n'est pas affecté par la transformation monotone).1 X kOui 1 X k
-
Si vous êtes intéressé par des tests qui sont conceptuellement très similaires à ceux de Mann-Whitney et qui sont sensibles aux différences de répartition sous l'égalité des médianes, il existe plusieurs de ces tests.
Il y a le test Siegel-Tukey et le test Ansari-Bradley, par exemple, tous deux étroitement liés au test à deux échantillons de Mann-Whitney-Wilcoxon.
Ils sont tous deux basés sur l'idée de base du classement à partir des extrémités.
Si vous utilisez R, le test Ansari-Bradley est intégré ...
?ansari.test
Le Siegel-Tukey effectue en fait juste un test de Mann-Whitney-Wilcoxon sur des rangs calculés différemment à partir de l'échantillon; si vous classez les données vous-même, vous n'avez pas vraiment besoin d'une fonction distincte pour les valeurs de p. Néanmoins, vous pouvez en trouver, comme ici:
http://www.r-statistics.com/2010/02/siegel-tukey-a-non-parametric-test-for-equality-in-variability-r-code/
-
(par rapport au commentaire de ttnphns sous ma réponse d'origine)
Vous seriez en train de surinterpréter ma réponse pour la lire comme étant en désaccord avec @GregSnow dans un sens particulièrement substantiel. Il y a certainement une différence dans l'accent et dans une certaine mesure dans ce dont nous parlons, mais je serais très surpris s'il y avait beaucoup de désaccord réel derrière cela.
Citons Mann et Whitney: "Une statistique dépendant des rangs relatifs des et des est proposée pour tester l'hypothèse . " C'est sans équivoque; il soutient totalement la position de @ GregSnow.x y f = gU x y f=g
Maintenant, voyons comment la statistique est construite: " Soit compter le nombre de fois qu'un précède un .y xU y x " Maintenant, si leur null est vrai, la probabilité de cet événement est ... mais il existe d'autres façons d'obtenir une probabilité de 0,5, et en ce sens, on pourrait penser que le test peut fonctionner dans d'autres circonstances. Dans la mesure où ils estiment une probabilité (redimensionnée) que > , cela corrobore ce que j'ai dit.1 YX12 Y X
Cependant, pour que les niveaux de signification soient garantis exactement corrects, vous auriez besoin de la distribution de pour correspondre à la distribution nulle. Cela est dérivé de l'hypothèse que toutes les permutations des étiquettes des groupes et aux observations combinées sous le zéro étaient également probables. C'est certainement le cas sous . Exactement comme l'a dit @GregSnow.X Y f = gU X Y f=g
La question est de savoir dans quelle mesure cela est le cas (c'est-à-dire que la distribution de la statistique de test correspond à celle dérivée sous l'hypothèse que , ou approximativement), pour le plus généralement exprimé nul.f=g
Je crois que dans de nombreuses situations, c'est le cas; en particulier pour des situations incluant mais plus générales que celle que vous décrivez (deux populations normales avec la même variance moyenne mais extrêmement inégale peuvent être généralisées un peu sans modifier la distribution résultante en fonction des rangs), je pense que la distribution de la statistique de test se révèle avoir la même distribution sous laquelle il a été dérivé et devrait donc y être valide. J'ai fait quelques simulations qui semblent soutenir cela. Cependant, ce ne sera pas toujours un test très utile (il peut avoir une mauvaise puissance).
Je n'offre aucune preuve que ce soit le cas. J'ai appliqué un argument d'intuition / ondulé à la main et j'ai également fait des simulations de base qui suggèrent que c'est vrai - que le Mann-Whitney fonctionne (en ce qu'il a la `` bonne '' distribution sous le null) beaucoup plus largement que lorsque .f=g
Faites-en ce que vous voulez, mais je ne l'interprète pas comme un désaccord de fond avec @GregSnow
Référence - papier original de Mann & Whitney
la source
the null hypothesis of Mann-Whitney U-test is not about the equality of distributions. Is is about the symmetry between two populations with respect to the probability of obtaining a larger observation
. Et donc vous n'êtes pas d'accord avec la réponse de @ Greg, non?