Avons-nous besoin d'un test global avant les tests post hoc?

54

J'entends souvent dire que les tests post-hoc après une ANOVA ne peuvent être utilisés que si celle-ci était significative.

  • Cependant, les tests post-hoc ajustent les valeurs pour maintenir le taux d'erreur global de type I à 5%, n'est-ce pas?p
  • Alors pourquoi avons-nous besoin du test global en premier?
  • Si nous n'avons pas besoin d'un test global, la terminologie "post hoc" est-elle correcte?

  • Ou existe-t-il plusieurs types de tests post-hoc, certains supposant un résultat de test global significatif et d'autres sans cette hypothèse?

même
la source

Réponses:

58

Étant donné que les tests de comparaison multiples sont souvent appelés "post-tests", on pourrait penser qu'ils suivent logiquement l'ANOVA à sens unique. En fait, ce n'est pas le cas.

" Une pratique courante malheureuse consiste à rechercher plusieurs comparaisons lorsque l'hypothèse d'homogénéité de la coque est rejetée " ( Hsu, page 177 ).

Les résultats des tests ultérieurs seront-ils valides si la valeur P globale de l'ANOVA est supérieure à 0,05?

Par surprise, la réponse est oui. À une exception près, les tests ultérieurs sont valides même si l’analyse globale de variance n’a révélé aucune différence significative entre les moyennes.

L'exception est le premier test de comparaison multiple inventé, le test protégé de différence la moins significative (LSD) de Fisher. La première étape du test LSD protégé consiste à vérifier si l’Anova globale n’a pas rejeté l’hypothèse nulle de moyens identiques. Si ce n'est pas le cas, les comparaisons individuelles ne doivent pas être faites. Mais ce test LSD protégé est obsolète et n'est plus recommandé.

Est-il possible d'obtenir un résultat «significatif» à partir d'un test de comparaisons multiples même lorsque l'ANOVA globale n'était pas significative?

Oui c'est possible. L'exception est le test de Scheffe. Il est étroitement lié au test F global. Si l'ANOVA globale a une valeur P supérieure à 0,05, le test de Scheffe ne détectera aucun post-test significatif. Dans ce cas, effectuer des tests ultérieurs à la suite d’une analyse de variance globale non significative est une perte de temps, mais ne permet pas de tirer des conclusions erronées. Mais d'autres tests de comparaisons multiples peuvent trouver des différences significatives (parfois) même lorsque l'analyse de la variance globale ne montre aucune différence significative entre les groupes.

Comment puis-je comprendre la contradiction apparente entre un ANOVA disant, en fait, que toutes les moyennes de groupe sont identiques et un post-test constatant des différences?

L'ANOVA globale à une voie teste l'hypothèse nulle que tous les groupes de traitement ont des valeurs moyennes identiques. Toute différence constatée est due à un échantillonnage aléatoire. Chaque post-test teste l'hypothèse nulle selon laquelle deux groupes particuliers ont des moyennes identiques.

Les post-tests sont plus ciblés et ont donc le pouvoir de trouver des différences entre les groupes même lorsque l’ANOVA globale indique que les différences entre les moyennes ne sont pas statistiquement significatives.

Les résultats de l'ANOVA globale sont-ils utiles?

ANOVA teste l'hypothèse nulle globale selon laquelle toutes les données proviennent de groupes dont les moyennes sont identiques. Si telle est votre question expérimentale - les données fournissent-elles une preuve convaincante du fait que les moyens ne sont pas tous identiques - alors l'ANOVA est exactement ce que vous voulez. Le plus souvent, vos questions expérimentales sont plus ciblées et répondent à de multiples tests de comparaison (post-tests). Dans ces cas, vous pouvez en toute sécurité ignorer les résultats généraux de l'ANOVA et passer directement aux résultats du post-test.

Notez que tous les calculs de comparaison utilisent tous le résultat carré moyen de la table ANOVA. Ainsi, même si vous ne vous souciez pas de la valeur de F ou de la valeur de P, les post-tests exigent toujours que la table ANOVA soit calculée.

Harvey Motulsky
la source
1
C'est une excellente réponse Harvey - merci de l'avoir écrit!
pmgjones
3
(+1) Les deux derniers paragraphes fournissent un bon contexte pour comprendre et apprécier la réponse dans son ensemble.
whuber
4
Excellente réponse et j'ajouterai quelques citations de Maxwell et Delaney (2004): "... ces méthodes [par exemple, Bonferroni, Tukey, Dunnet, etc.] doivent être considérées comme des substituts du test omnibus, car elles contrôlent alphaEW à votre place. Exiger un test Omnibus significatif avant de procéder à l’une de ces analyses, comme on le fait parfois, ne sert qu’à abaisser alphaEW en dessous du niveau souhaité (Bernhardson, 1975) et diminue donc de manière inappropriée le pouvoir "(p. 236) .
dfife
J'aime "alors j'ai le pouvoir de trouver les différences entre les groupes ..."
SmallChess
Bien que cela ne soit pas dans la question, je pense que je devrais mentionner - car ce n'est peut-être pas évident - que la situation inverse est également possible dans certaines situations (qu'un test omnibus rejette mais aucune comparaison par paires ne le fait)
Glen_b
25

(1) Les tests post-hoc peuvent ou non permettre d’atteindre le taux nominal global d’erreurs de type I, selon (a) si l’analyste ajuste le nombre de tests et (b) dans quelle mesure les tests post-hoc sont indépendants d’un un autre. Appliquer d'abord un test global constitue une protection assez solide contre le risque de découverte (même par inadvertance) de résultats faux "significatifs" issus d' une surveillance de données post-hoc .

(2) Il y a un problème de pouvoir. Il est bien connu qu'un test global ANOVA F peut détecter une différence de moyen même dans les cas où aucun test t individuel de l'une des paires de moyennes ne donnera un résultat significatif. En d' autres termes, dans certains cas , les données peuvent révéler que le vrai moyen diffèrent probable , mais il ne peut pas identifier avec suffisamment de confiance qui paires de moyens diffèrent.

whuber
la source
Re (2): lorsque vous dites qu'une ANOVA à sens unique peut signaler une différence significative quand aucun des tests t paires ne le fait, parlez-vous de simple non ajusté ("non post", par exemple, pas la procédure de Tukey ou autre) t-tests? Je pensais que cela ne serait jamais possible, est-ce que j'avais tort?
amibe dit de réintégrer Monica le
@ amoeba C'est vrai; Je parle de tests par paires non ajustés. Merci d'avoir clarifié ce point.
whuber
Merci @ Whuber. J'ai essayé de trouver une discussion sur ce point ici sur CrossValidated, mais en vain. J'ai donc posté ma propre question sur la manière dont une telle situation est possible: stats.stackexchange.com/questions/83030/… . Je vous serais très reconnaissant si vous pouviez élaborer ici!
amibe dit de réintégrer Monica le
3
@amoba et @whuber: Vous le savez probablement, mais j'aimerais quand même le préciser. Notez que le test ANOVA peut être significatif même si aucun des tests HSD de Tukey ne l’est. Exemple simple R avec un ensemble de données équilibré avec trois groupes:set.seed(249); group = rep(1:3, each=2); y = group + rnorm(6); mod = aov(y~factor(group)); summary(mod); TukeyHSD(mod); plot(y~group)
Karl Ove Hufthammer
1
Eh bien, ne pouvez-vous pas au moins supposer qu'il existait une différence entre les deux moyennes et la plus grande différence entre elles, puisque l'hypothèse nulle de l'ANOVA est qu'au moins une paire de moyennes diffère l'une de l'autre?
Speldosa