Dans une méta-analyse, comment gérer des études non significatives ne contenant pas de données brutes?

Disons que je mène une méta-analyse, en examinant la performance du groupe A et du groupe B par rapport à une certaine construction. Maintenant, certaines des études que je vais rencontrer rapporteront qu'aucune différence statistique n'a pu être trouvée entre les deux groupes mais aucune statistique de test exacte et / ou données brutes ne seront présentées. Dans une méta-analyse, comment dois-je gérer ces études?

Fondamentalement, je vois trois alternatives différentes ici:

Incluez-les tous et affectez à chacun d'eux une taille d'effet de 0.
Jetez-les tous.
Faites une sorte d'analyse de puissance pour chacun d'eux ou fixez un seuil à un certain nombre de participants. Incluez tous ceux qui auraient pu atteindre une signification statistique et attribuez à chacun d'eux une taille d'effet de 0. Jetez le reste.

Je peux voir les mérites de toutes les différentes options. La première option est assez conservatrice et vous risquez seulement de faire une erreur de type II. L'option deux augmente le risque de faire une erreur de type I, mais elle évite également de ruiner vos résultats en raison d'un tas d'études sous-alimentées. L'option trois semble être la voie médiane entre l'option un et l'option deux, mais beaucoup d'hypothèses et / ou de suppositions pures devront être faites (sur quelle taille d'effet devez-vous baser vos analyses de puissance? étudier pour qu'il passe?), rendant probablement le résultat final moins fiable et plus subjectif.

hypothesis-testing power-analysis meta-analysis effect-size group-differences Speldosa
la source

N'attribuez pas zéro, car c'est une sous-estimation de l'effet. Une approche consiste à attribuer une valeur de taille d'effet qui est associée à une valeur de p de 0,5 (la valeur de p attendue si l'hypothèse nulle est vraie).

Jeremy Miles

Qu'est-ce qui vous ferait même jeter un coup d'œil à une valeur lorsque vous décidez quoi faire avec une étude lorsque vous l'incluez dans une méta-analyse? Pensez à l' estimation et non aux tests d'hypothèse .

P

$P$

Frank Harrell

@JeremyMiles "N'attribuez pas zéro, car c'est une sous-estimation de l'effet." - C'est ça? Je veux dire, ça pourrait l' être, mais comme il n'y a pas de données disponibles, je ne peux tout simplement pas savoir quel est le véritable effet de ces études.

Speldosa

@FrankHarrell Studies rapportant des résultats non significatifs vous donne une idée de la taille réelle de l'effet pour cette étude. Les études ne rapportant rien du tout sont totalement inutiles et n'introduisent du bruit que si l'on suppose qu'il existe un parti pris pour ne rien signaler (pas même un test statistique échoué) lorsqu'il n'y a pas d'effet (peut-être que l'on devrait supposer que c'est le cas ?). La question que j'étudie pour ma méta-analyse est une question qui n'est très souvent pas la question principale (ou même pas une question que les auteurs posent du tout) des études que je regarde.

Speldosa

@JeremyMiles je sais que vous avez fourni votre «estimation de la taille de l'effet basée sur une valeur de p de 0,5» il y a quelque temps - connaissez-vous des travaux que je pourrais citer si j'adopte cette approche? Je serais très reconnaissant pour toute aide!

Réponses:

Comme vous l'avez souligné, les trois approches présentent des avantages. Il n'y a clairement aucune option qui soit «la meilleure». Pourquoi ne pas faire les 3 et présenter les résultats comme une analyse de sensibilité?

Une méta-analyse menée avec des analyses de sensibilité amples et appropriées montre simplement que l'auteur est bien conscient des limites des données disponibles, rend explicite l'influence des choix que nous faisons lors de la réalisation d'une méta-analyse et est capable d'évaluer de manière critique les conséquences. Pour moi, c'est la marque d'une méta-analyse bien menée.

Quiconque a déjà effectué une méta-analyse sait très bien qu'il y a de nombreux choix et décisions à prendre en cours de route et ces choix et décisions peuvent avoir une influence considérable sur les résultats obtenus. L'avantage d'une méta-analyse (ou plus généralement d'une revue systématique) est que les méthodes (et donc les choix et décisions) sont explicites. Et l'on peut évaluer leur influence de manière systématique. C'est exactement ainsi qu'une méta-analyse doit être menée.

Wolfgang
la source

Voici les étapes que je prendrais (et que j'enseigne à mes élèves):

1) Contactez les auteurs de la recherche originale. Soyez poli et demandez des estimations exactes des effets à utiliser dans votre méta-analyse. Le pire qui puisse arriver, c'est qu'ils ne répondent pas ou refusent de vous donner les informations. Dans le meilleur des cas, vous obtenez les informations exactes que vous recherchiez.

2) Si vous avez des valeurs p exactes, vous pouvez souvent reculer les SD avec un certain degré de certitude.

3) Vous faites une sorte d'imputation. Cela pourrait consister à «emprunter» l'estimation de l'effet d'essais de taille similaire, le plus grand écart-type dans la méta-analyse, l'écart-type provenant d'études similaires dans la même méta-analyse, l'opinion d'experts, etc. Il existe de nombreuses façons d'imputer les données manquantes, plus scientifiquement correct que les autres, mais la chose la plus importante est que vous êtes clair sur ce que vous avez fait et que vous effectuez une analyse de sensibilité pour déterminer l'effet de l'imputation (s) sur l'estimation de l'effet groupé.

3) Vous leur mettez les études dans la méta-analyse avec les données manquantes. Le programme (par exemple RevMan) n'accordera aucun poids à ces études dans l'analyse car il ne pourra pas calculer l'estimation et la variance de l'effet pour cette étude, mais vous pourrez montrer visuellement qu'il y a eu des études supplémentaires avec des données partielles qui ne faisaient pas partie du calcul groupé.

4) Vous n'incluez pas les données de ces études.

Choisissez votre poison ...

abousetta
la source