J'examine un article qui a effectué> 15 tests distincts du Chi2 2x2. J'ai suggéré qu'ils doivent corriger les comparaisons multiples, mais ils ont répondu en disant que toutes les comparaisons étaient prévues, et donc ce n'est pas nécessaire.
Je pense que cela ne doit pas être correct, mais je ne trouve aucune ressource qui indique explicitement si c'est le cas.
Est-ce que quelqu'un peut aider avec ça?
Mise à jour:
Merci pour toutes vos réponses très utiles. En réponse à la demande de @ gung pour plus d'informations sur l'étude et les analyses, ils comparent les données de comptage pour deux types de participants (étudiants, non-étudiants) dans deux conditions, sur trois périodes. Les multiples tests de 2x2 chi carré comparent chaque période, dans chaque condition, pour chaque type de participant (si cela a du sens; par exemple, étudiants, condition 1, période 1 vs période 2), donc toutes les analyses testent la même hypothèse .
Réponses:
C'est à mon humble avis un problème complexe et je voudrais faire trois commentaires sur cette situation.
Premièrement et d'une manière générale, je me concentrerais davantage sur la question de savoir si vous êtes confronté à une étude de confirmation avec un ensemble d'hypothèses bien formées définies dans un contexte argumentatif ou une étude explicative dans laquelle de nombreux indicateurs probables sont observés plutôt que s'ils sont planifiés ou non (car vous pouvez prévoyez simplement de faire toutes les comparaisons possibles).
Deuxièmement, je voudrais également me concentrer sur la façon dont les valeurs de p résultantes sont ensuite discutées. Sont-ils utilisés individuellement pour servir un ensemble de conclusions définitives, ou sont-ils discutés conjointement comme preuve et manque de preuve?
Enfin, je discuterais de la possibilité que l'hypothèse> 15 résultant des> 15 tests de chi carré séparés soit en fait l'expression de quelques hypothèses (peut-être une seule) qui peuvent être résumées.
Plus généralement, que les hypothèses soient prédéfinies ou non, la correction des comparaisons multiples ou non dépend de ce que vous incluez dans l'erreur de type I. En ne corrigeant pas pour MC, vous ne conservez qu'un contrôle du taux d'erreur par comparaison de type I. Donc, en cas de nombreuses comparaisons, vous avez un taux d'erreur élevé de type I au niveau de la famille et vous êtes donc plus sujet aux fausses découvertes.
la source
Compte tenu de votre mise à jour sur la conception, je suggère qu'ils fassent une forme de modèle log-linéaire pour utiliser toutes les données à la fois. Faire les analyses à la pièce qu'ils ont faites semble (a) inefficace (b) non scientifique car il teste 15 hypothèses où il y a sûrement moins d'hypothèses réelles.
Je ne suis pas un fan de la correction de la multiplicité en tant que réflexe conditionné, mais dans ce cas, s'ils rejettent une approche analytique plus profonde, je suggère qu'ils corrigent.
la source
Si vous remplacez le mot «prémédité» par «planifié», cela peut aider à dissiper l'argument avancé par les auteurs. Considérons deux analyses statistiques différentes des mêmes données:
Quoi qu'il en soit, c'est du «meurtre» - la question est de savoir si c'est au premier degré ou au deuxième degré. De toute évidence, le premier est moralement plus problématique. Il me semble que les auteurs ici tentent de prétendre que ce n'était pas un meurtre parce qu'il était prémédité.
la source
Ce document répond directement à votre question: http://jrp.icaap.org/index.php/jrp/article/view/514/417
(Frane, AV, «Les tests d'hypothèse planifiés ne sont pas nécessairement exemptés de l'ajustement de la multiplicité», Journal of Research Practice, 2015)
la source