Différence entre l'ANOVA et le test de Kruskal-Wallis

20

J'apprends le R et j'ai expérimenté l'analyse de la variance. J'ai couru les deux

kruskal.test(depVar ~ indepVar, data=df)

et

anova(lm(depVar ~ indepVar, data=dF))

Y a-t-il une différence pratique entre ces deux tests? D'après ce que je comprends, ils évaluent tous deux l'hypothèse nulle selon laquelle les populations ont la même moyenne.

JHowIX
la source

Réponses:

28

Il existe des différences dans les hypothèses et les hypothèses testées.

L'ANOVA (et le test t) est explicitement un test d'égalité des moyennes de valeurs. Le Kruskal-Wallis (et Mann-Whitney) peut être considéré techniquement comme une comparaison des rangs moyens .

Ainsi, en termes de valeurs originales, le Kruskal-Wallis est plus général qu'une comparaison de moyennes: il teste si la probabilité qu'une observation aléatoire de chaque groupe soit également susceptible d'être supérieure ou inférieure à une observation aléatoire d'un autre groupe. La quantité réelle de données qui sous-tend cette comparaison n'est ni les différences de moyennes ni la différence de médianes (dans le cas des deux échantillons), c'est en fait la médiane de toutes les différences par paires - la différence Hodges-Lehmann entre échantillons.

Cependant, si vous choisissez de faire des hypothèses restrictives, Kruskal-Wallis peut être considéré comme un test d'égalité des moyennes de population, ainsi que des quantiles (par exemple les médianes), et en fait une grande variété d'autres mesures. Autrement dit, si vous supposez que les distributions de groupe sous l'hypothèse nulle sont les mêmes, et que sous l'alternative, le seul changement est un changement de distribution (une soi-disant " alternative de localisation "), alors c'est aussi un test de l'égalité des moyennes de population (et, simultanément, des médianes, des quartiles inférieurs, etc.).

[Si vous faites cette hypothèse, vous pouvez obtenir des estimations et des intervalles pour les changements relatifs, tout comme vous pouvez le faire avec l'ANOVA. Eh bien, il est également possible d'obtenir des intervalles sans cette hypothèse, mais ils sont plus difficiles à interpréter.]

Si vous regardez la réponse ici , en particulier vers la fin, elle discute de la comparaison entre le test t et le Wilcoxon-Mann-Whitney, qui (lors des tests bilatéraux au moins) sont l'équivalent de l'ANOVA et de Kruskal-Wallis appliqué à une comparaison de seulement deux échantillons; cela donne un peu plus de détails, et une grande partie de cette discussion se poursuit dans Kruskal-Wallis vs ANOVA.

Ce n'est pas tout à fait clair ce que vous entendez par une différence pratique. Vous les utilisez généralement d'une manière généralement similaire. Lorsque les deux ensembles d'hypothèses s'appliquent, ils ont généralement tendance à donner des résultats assez similaires, mais ils peuvent certainement donner des valeurs de p assez différentes dans certaines situations.

Edit: Voici un exemple de la similitude de l'inférence même sur de petits échantillons - voici la région d'acceptation conjointe pour les changements d'emplacement entre trois groupes (le deuxième et le troisième chacun par rapport au premier) échantillonnés à partir de distributions normales (avec de petites tailles d'échantillon) pour un ensemble de données particulier, au niveau de 5%:

Régions d'acceptation des différences de localisation à Kruskal-Wallis et Anova

De nombreuses caractéristiques intéressantes peuvent être discernées - la région d'acceptation légèrement plus grande pour le KW dans ce cas, avec sa limite constituée de segments de ligne droite verticale, horizontale et diagonale (il n'est pas difficile de comprendre pourquoi). Les deux régions nous disent des choses très similaires sur les paramètres d'intérêt ici.

Glen_b -Reinstate Monica
la source
2
+1. J'ai osé le modifier légèrement juste pour mettre l'accent là où je le jugeais nécessaire. Veuillez voir maintenant, si vous êtes d'accord ou non.
ttnphns
@ttnphns merci pour la modification. Il y a des raisons particulières pour lesquelles certaines des choses que vous avez changées étaient là, donc je peux éditer une partie de l'original de nouveau. Cependant, je devrais peut-être expliquer plus clairement pourquoi je l'ai écrit tel que je l'avais auparavant. Mais d'abord, je veux réfléchir soigneusement à la meilleure façon de conserver autant de changements que possible.
Glen_b -Reinstate Monica
4

Oui il y a. leanova s'agit d'une approche paramétrique tandis que kruskal.testc'est une approche non paramétrique. Donc , kruskal.testn'a pas besoin de toute hypothèse distributive.
D'un point de vue pratique, lorsque vos données sont biaisées, anovace ne serait pas une bonne approche à utiliser. Jetez un œil à cette question par exemple.

Stat
la source
4
Je dirais que Kruskal-Wallis ANOVA fait des hypothèses assouplies concernant les distributions par rapport à l'ANOVA paramétrique: les observations dans chaque groupe proviennent de populations de forme similaire . L'hétéroscédasticité ou les distributions fortement asymétriques restent aussi problématiques qu'avec les tests traditionnels.
chl
2
Comment ça, @chl? Les rangs ne sont pas modifiés par l'inclinaison et KW est basé sur le rang. Qu'est-ce que je rate?
Peter Flom - Réintègre Monica
6
3/π
H0
1
@ StéphaneLaurent Si les formes ne sont pas identiques cela peut conduire à une mauvaise inférence. voir mon exemple ici
Flask
3

Δentrez la description de l'image ici

()H0:{Δ=0}H1:{Δ0}()H0H0)()H0:{les distributions sont égales}

()Δ>0Δ

Xyn=1000H0

set.seed(666)
n <- 1000
x <- rnorm(n)
y <- (2*rbinom(n,1,1/2)-1)*rnorm(n,3)
plot(density(x, from=min(y), to=max(y)))
lines(density(y), col="blue")

entrez la description de l'image ici

> kruskal.test(list(x,y))

    Kruskal-Wallis rank sum test

data:  list(x, y)
Kruskal-Wallis chi-squared = 2.482, df = 1, p-value = 0.1152

Comme je l'ai affirmé au début, je ne suis pas sûr de la construction précise de KW. Peut-être que ma réponse est plus correcte pour un autre test non paramétrique (Mann-Whitney? ..), mais l'approche devrait être similaire.

Stéphane Laurent
la source
1
Kruskal-Wallis test is constructed in order to detect a difference between two distributions having the same shape and the same dispersionComme mentionné dans la réponse de Glen, les commentaires et à de nombreux autres endroits sur ce site, c'est vrai, mais c'est la lecture restreinte de ce que fait le test. same shape/dispersionn'est en fait pas intrinsèque mais est une hypothèse supplémentaire qui est utilisée dans certains cas et non utilisée dans d'autres situations.
ttnphns
PS Votre 2ème exemple ne contredit ni ne réfute le test KW. Le H0 du test ne l' est pasdistributions are equal , c'est une erreur de le penser. Le H0 est seulement que, de manière figurée, les deux points de "condensation des gravités" ne s'écartent pas l'un de l'autre.
ttnphns
H0
1
krusal.test()H0
1
Ouais. the equality of the location parameters of the distributionest la bonne formulation (même si "l'emplacement" ne doit pas être considéré comme une simple moyenne ou médiane, dans le cas général). Si vous assumez les mêmes formes, alors, naturellement, ce même H0 devient "distribution identique".
ttnphns
0

Kruskal-Wallis est basé sur le classement plutôt que sur la valeur. Cela peut faire une grande différence s'il y a des distributions asymétriques ou s'il y a des cas extrêmes

Peter Flom - Réintégrer Monica
la source