Pourquoi la recherche de petits effets dans les grandes études indique-t-elle un biais de publication?

32

Plusieurs documents méthodologiques (par exemple Egger et al 1997a, 1997b) traitent du biais de publication révélé par les méta-analyses, en utilisant des graphiques en entonnoir tels que celui ci-dessous. Entonnoir graphique des bêta-bloquants dans l'infarctus du myocarde

Le document de 1997b poursuit en indiquant que "si un biais de publication est présent, il est prévu que, parmi les études publiées, les plus grandes rapporteront les effets les plus minimes". Mais pourquoi ça? Il me semble que tout ce que cela prouverait est ce que nous savons déjà: les petits effets ne sont détectables que sur des échantillons de grande taille ; en ne disant rien sur les études qui sont restées inédites.

En outre, les travaux cités affirment qu'une asymétrie évaluée visuellement dans un graphique en entonnoir "indique qu'il y a eu non-publication sélective d'essais de moindre envergure offrant un bénéfice moins important". Mais, encore une fois, je ne comprends pas comment les caractéristiques des études qui ont été publiées peuvent éventuellement nous dire quoi que ce soit (nous permettre de tirer des conclusions) sur les travaux qui ont été pas publiés!

Références
Egger, M., Smith, GD et Phillips, AN (1997). Méta-analyse: principes et procédures . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, M. Schneider, et Minder, C. (1997). Biais dans la méta-analyse détecté par un simple test graphique . BMJ , 315 (7109), 629-634.

z8080
la source
Je ne pense pas que ce soit la bonne solution. Peut-être que la réponse à cette Q & A pourrait aider stats.stackexchange.com/questions/214017/…
mdewey
7
Pour qu'une petite étude soit publiée, elle devra montrer un effet important, quelle que soit la taille de l'effet réel.
einar le

Réponses:

23

Les réponses ici sont bonnes, +1 à tous. Je voulais juste montrer à quoi cet effet pourrait ressembler en termes d'entonnoir dans un cas extrême. Ci-dessous, je simule un petit effet sous la forme N(.01,.1) et prélève des échantillons entre 2 et 2 000 observations de taille.

Les points gris de l’intrigue ne seraient pas publiés sous un strict p<0,05 . La ligne grise est une régression de la taille de l'effet sur la taille de l'échantillon, y compris les études sur la "valeur p incorrecte", tandis que la ligne rouge les exclut. La ligne noire montre le véritable effet.

Comme vous pouvez le constater, sous l’effet de biais lié à la publication, les petites études ont tendance à surestimer la taille des effets et les plus grandes à rendre les tailles d’effets plus proches de la réalité.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

Créé le 2019-02-20 par le package reprex (v0.2.1)

einar
la source
1
Excellent point, aide vraiment à comprendre cela intuitivement, merci!
Z8080
2
+1 Ce graphique vaut mille mots et résume bien le problème. Ce type de biais peut même être trouvé lorsque la taille réelle de l'effet est 0.
Underminer
29

Premièrement, nous devons réfléchir à ce qu'est le "biais de publication" et à la manière dont il affectera ce qui en fait réellement partie.

p<0,05|θ^|/SE(θ^)>1,96nSE(θ^)|θ^|

θ|θ^| θ^|θ| est en fait considérablement plus petit que ce que nous voyons généralement dans les expériences plus petites qui en font réellement une publication.

|θ^| SE(θ^)p<0,05

Cliff AB
la source
nSE(θ)|θ|SE(θ)=S(θ)nSE(θ)SE
19

Lisez cette déclaration d'une manière différente:

En l'absence de biais de publication, la taille de l'effet doit être indépendante de la taille de l'étude.

En d’autres termes, si vous étudiez un phénomène, la taille de l’effet est une propriété du phénomène et non l’échantillon / l’étude.

Les estimations de la taille de l'effet peuvent (et vont) varier selon les études, mais si la taille de l'effet diminue systématiquement avec l'augmentation de la taille de l'étude , cela suggère qu'il existe un biais. En réalité, cette relation suggère que de petites études supplémentaires montrant une taille d'effet faible n'ont pas été publiées et que si elles étaient publiées et pouvaient donc être incluses dans une méta-analyse, l'impression globale serait que la taille de l'effet est plus petite. que ce qui est estimé à partir du sous-ensemble publié d’études.

La variance des estimations de la taille d'effet d'une étude à l'autre dépendra de la taille de l'échantillon, mais vous devriez observer un nombre égal d'estimations sous-estimées et excessives pour des échantillons de taille réduite en l'absence de biais.

Bryan Krause
la source
1
Mais est-il vraiment exact de dire que "s'il n'y a pas de biais de publication, la taille de l'effet devrait être indépendante de la taille de l'étude"? C’est vrai, bien sûr, lorsque vous parlez du véritable effet sous-jacent, mais je pense qu’ils font référence à l’effet estimé. Une taille d'effet qui est dépendante de la taille de l' étude (suggérant de polarisation) est d'une relation linéaire en ce nuage de points (forte corrélation). Ceci est quelque chose que j'ai personnellement pas vu dans les parcelles d'entonnoir, même si bien sûr beaucoup de ces parcelles d'entonnoir ne signifie qu'un parti pris existait.
Z8080
2
@ z8080 Vous avez raison, c'est seulement si les estimations de la moyenne et de l'écart-type sont non biaisées que la taille de l'effet estimée sera complètement indépendante de la taille de l'étude s'il n'y a pas de biais de publication. Étant donné que l'écart type de l'échantillon est biaisé, les estimations de l'ampleur de l'effet seront biaisées, mais ce biais est faible par rapport au niveau de biais des études mentionnées par Egger et ses collaborateurs. Dans ma réponse, je le considère comme négligeable, en supposant que la taille de l'échantillon est suffisamment grande pour que l'estimation du DD soit presque non biaisée, et par conséquent, le considérant comme indépendant de la taille de l'étude.
Bryan Krause
2
@ z8080 La variance des estimations de la taille d'effet dépendra de la taille de l'échantillon, mais vous devriez voir un nombre égal d'estimations insuffisantes et excessives pour les échantillons de petite taille.
Bryan Krause
2
"Les estimations de la taille de l'effet pourraient varier (et varieront) d'une étude à l'autre, mais s'il existe une relation systématique entre la taille de l'effet et la taille de l'étude" Cette formulation est un peu floue sur la différence entre la dépendance et la taille de l'effet. La distribution de la taille de l'effet sera différente pour la taille de l'échantillon de différence et ne sera donc pas indépendante de la taille de l'échantillon, qu'il y ait ou non un biais. Le biais est une direction systématique de la dépendance.
Accumulation du
@ Accumulation Mon édition corrige-t-elle le manque de clarté que vous avez constaté?
Bryan Krause