Comment détecter laquelle est la meilleure étude quand ils vous donnent des résultats contradictoires?

11

Vous rencontrez si souvent dans la presse diverses études qui concluent à des résultats opposés. Ceux-ci peuvent être liés au test d'un nouveau médicament sur ordonnance ou au mérite d'un nutriment spécifique ou de toute autre chose d'ailleurs.

Lorsque deux de ces études arrivent à des résultats contradictoires, comment pouvez-vous savoir laquelle des deux est la plus proche de la vérité?

Sympa
la source
Peut-être que cela devrait être CW? Il n'y aura pas de réponse unique à cette question et de multiples perspectives et approches pourraient émerger.
whuber
2
@whuber, je voterais contre CW parce que même s'il y a des perspectives différentes, il y a probablement une meilleure approche. Ceci est similaire à la façon dont la même hypothèse peut être testée en utilisant différents cadres / modèles, mais il y a probablement une meilleure approche.
@Srikant: Dans tous les cas particuliers, je peux imaginer que vous pourriez amasser une défense solide pour soutenir votre affirmation. En général, cependant - qui est la situation actuelle - la meilleure réponse dépendra du contexte. À titre d'exemple simple (et incomplet), contemplez les différences entre l'évaluation d'une paire d'expériences physiques conçues (comme la mesure de la vitesse de la lumière, où historiquement la plupart des intervalles de confiance ont raté la vérité!) Et une étude d'observation en sciences sociales .
whuber
@whuber Peut-être, nous devrions continuer cette conversation sur les méta. J'avoue que je ne sais toujours pas quand utiliser CW et quand ne pas le faire, mais pour reprendre votre point: la meilleure réponse à cette question serait alors que la réponse dépend du contexte et explique pourquoi via quelques exemples. En tout cas, j'estime que cette question ne devrait pas être CW mais je ne suis pas en mesure de formuler d'autres raisons au-delà de celles que j'ai décrites ci-dessus.

Réponses:

3

Je pense que la réponse de Jeromy est suffisante si vous examinez deux études expérimentales ou une méta-analyse réelle. Mais souvent, nous sommes confrontés à l'examen de deux études non expérimentales et sommes chargés d'évaluer la validité de ces deux résultats disparates.

Comme le suggère la liste d'épicerie de Cyrus , le sujet lui-même ne se prête pas à une réponse courte, et des livres entiers visent essentiellement à répondre à une telle question. Pour toute personne intéressée à mener des recherches sur des données non expérimentales, je vous suggère fortement de lire

Plans expérimentaux et quasi-expérimentaux pour l'inférence causale généralisée par William R. Shadish, Thomas D. Cook, Donald Thomas Campbell (J'ai également entendu dire que les anciennes versions de ce texte sont tout aussi bonnes).

Jeromy a fait référence à plusieurs éléments (des échantillons plus grands et une plus grande rigueur méthodologique), et tout ce que Cyrus mentionne serait considéré comme ce que Campbell et Cook appellent la «validité interne». Il s'agit notamment d'aspects de la conception de la recherche et des méthodes statistiques utilisées pour évaluer la relation entre X et Y. En particulier, en tant que critiques, nous sommes préoccupés par les aspects de l'un ou de l'autre qui pourraient biaiser les résultats et diminuer la fiabilité des résultats. Comme il s'agit d'un forum consacré à l'analyse statistique, la plupart des réponses sont centrées sur des méthodes statistiques pour garantir des estimations impartiales de la relation que vous évaluez. Mais ce sont d'autres aspects de la conception de la recherche sans rapport avec l'analyse statistique qui diminuent la validité des résultats, quelle que soit la longueur rigoureuse à laquelle on va dans leur analyse statistique (comme la mention par Cyrus de plusieurs aspects de la fidélité à l'expérience peut être abordée mais pas résolue avec méthodes statistiques, et si elles se produisent, cela diminuera toujours la validité des résultats des études). Il existe de nombreux autres aspects de la validité interne qui deviennent cruciaux à évaluer dans la comparaison des résultats d'études non expérimentales qui ne sont pas mentionnés ici, et des aspects des modèles de recherche qui peuvent distinguer la fiabilité des résultats. Je ne pense pas qu'il soit tout à fait approprié d'entrer dans trop de détails ici,

Campbell et Cook font également référence à la «validité externe» des études. Cet aspect de la conception de la recherche a souvent une portée beaucoup plus petite et ne mérite pas autant d'attention que sa validité interne. La validité externe traite essentiellement de la généralisation des résultats, et je dirais que les profanes peuvent souvent évaluer la validité externe raisonnablement bien tant qu'ils connaissent le sujet. Longue histoire, lisez le livre de Shadish, Cook et Campbell.

Andy W
la source
8

La littérature de méta-analyse est pertinente pour votre question. En utilisant des techniques méta-analytiques, vous pouvez générer une estimation de l'effet d'intérêt mis en commun dans les études. Ces techniques pondèrent souvent les études en fonction de leur taille d'échantillon.

Dans le contexte de la méta-analyse, les chercheurs parlent de modèles à effets fixes et à effets aléatoires (voir Hunter et Schmidt, 2002 ). Un modèle à effet fixe suppose que toutes les études estiment le même effet sur la population. Un modèle à effets aléatoires suppose que les études diffèrent dans l'effet sur la population estimé. Un modèle à effets aléatoires est généralement plus approprié.

À mesure que davantage d'études s'accumulent sur une relation particulière, des approches plus sophistiquées deviennent possibles. Par exemple, vous pouvez coder les études en fonction de diverses propriétés, telles que la qualité perçue, puis examiner empiriquement si la taille de l'effet varie avec ces caractéristiques d'étude. Au-delà de la qualité, il peut y avoir des différences théoriquement pertinentes entre les études qui modéreraient la relation (par exemple, caractéristique de l'échantillon, niveaux de dosage, etc.).

En général, j'ai tendance à faire confiance aux études avec:

  • de plus grands échantillons
  • une plus grande rigueur méthodologique
  • une orientation confirmatoire (par exemple, pas une étude où ils ont testé des corrélations entre 100 nutriments différents et 50 résultats pour la santé)
  • absence de conflit d'intérêts (par exemple, pas par une entreprise ayant un intérêt commercial à montrer une relation; pas par un chercheur qui est incité à trouver un résultat significatif)

Mais cela dit, vous devez conserver un échantillonnage aléatoire et des différences théoriquement significatives entre les études comme explication plausible des résultats d'études contradictoires.

Jeromy Anglim
la source
J'aime particulièrement le rapport de vraisemblance comme moyen d'agréger des preuves dans une méta-analyse; si vous disposez de suffisamment de données pour les calculer pour chaque étude, vous calculez simplement le produit d'une étude à l'autre pour représenter les preuves agrégées pour / contre une hypothèse.
Mike Lawrence
J'ai commenté la pertinence (ir) de la méta-analyse après la réponse de Cyrus, mais j'ai voté pour cette réponse pour tout le reste, en particulier pour les puces.
whuber
@whuber @ La question de Gaetan suppose qu'une étude est plus proche de la vérité. J'essaie de prendre du recul et de situer les variations de résultats entre les études dans un cadre méta-analytique, en reconnaissant la possibilité que les études soient de qualité égale, mais qu'un échantillonnage aléatoire ou des différences substantielles puissent être l'explication.
Jeromy Anglim
@whuber Même avec deux études, il serait possible de former une estimation méta-analytique de l'effet d'intérêt. Bien entendu, l'intervalle de confiance de l'estimation de l'effet peut être important. Mais un degré élevé d'incertitude est à prévoir si seulement deux études ont été menées et qu'elles donnent des résultats contradictoires.
Jeromy Anglim
5

Je m'abstiendrais de considérer la méta-analyse jusqu'à ce que vous ayez examiné les sources en cas de biais ou de variation potentiels dans les populations cibles. S'il s'agit d'études sur les effets du traitement, le traitement a-t-il été attribué au hasard? Y a-t-il eu des écarts par rapport au protocole? Y a-t-il eu non-conformité? Y a-t-il des données de résultats manquantes? Les échantillons ont-ils été tirés du même cadre? Y a-t-il eu refus de participer? Erreurs d'implémentation? Les erreurs standard ont-elles été calculées correctement, tenant compte du regroupement et robustes à diverses hypothèses paramétriques? Ce n'est qu'après avoir répondu à ces questions que les problèmes de méta-analyse commencent à apparaître. Il doit être rare que pour deux études, une méta-analyse soit appropriée, sauf si vous êtes prêt à faire des hypothèses héroïques.

Cyrus
la source
Mais ces étapes ne font-elles pas déjà partie de la méta-analyse?
chl
3
@chl: C'est vrai, mais le fait est que ces étapes atteignent l'essence de la question. Une méta-analyse ne serait utile que s'il existe de nombreuses études (pas seulement deux) et que leurs mérites ont déjà été soigneusement évalués. La question qui se pose à nous est vraiment de savoir comment procéder pour évaluer la qualité d'une étude, ou d'une paire d'études contradictoires, en premier lieu. Cyrus a souligné certains des nombreux aspects de cela; un traitement raisonnable nécessite généralement un ou deux semestres d'études de niveau universitaire. Dans cette optique, je pense que son utilisation du terme "héroïque" est quelque peu sous-estimée!
whuber
1
@whuber Oui, je suis d'accord avec vous et @Cyrus. Bien sûr, l'évaluation de la qualité et de la fiabilité des études précédentes est une étape obligatoire (et il faut du temps pour passer en revue toutes les études, en particulier lorsque nous devons contacter les auteurs car les informations manquent dans l'EM); Je pensais juste que cela faisait partie de la méta-analyse, et la "partie statistique" se réduit à apporter un résumé quantitatif des résultats fiables.
chl