Tiraillé entre PET-PEESE et approches multi-niveaux de la méta-analyse: existe-t-il un juste milieu?

Je travaille actuellement sur une méta-analyse, pour laquelle j'ai besoin d'analyser plusieurs tailles d'effet imbriquées dans des échantillons. Je suis partisan de l'approche de méta-analyse à trois niveaux de Cheung (2014) pour méta-analyser la taille des effets dépendants, par opposition à certaines des autres stratégies possibles (par exemple, ignorer la dépendance, faire la moyenne des tailles d'effet dans les études, sélectionner une taille d'effet, ou déplacement de l'unité d'analyse). Beaucoup de mes tailles d'effet dépendantes sont des corrélations impliquant des variables assez distinctes (mais liées de manière topique), donc la moyenne entre elles n'a pas de sens conceptuel, et même si c'était le cas, cela réduirait mon nombre de tailles d'effet totales à analyser de près de la moitié.

En même temps, cependant, je suis également intéressé à utiliser la méthode de Stanley et Doucouliagos (2014) pour traiter le biais de publication dans le cadre de l'estimation d'un effet méta-analytique. En un mot, on ajuste soit un modèle de méta-régression prédisant la taille des effets de l'étude par leurs variances respectives (le test d'effet de précision, ou PET), ou leurs erreurs standard respectives (l'estimation de l'effet de précision avec des erreurs standard ou PEESE). Selon l'importance de l'ordonnée à l'origine dans le modèle PET, on utilise soit l'ordonnée à l'origine du modèle PET (si l'interception PET p > 0,05) ou le modèle PEESE (si l'interception PET p <0,05) comme publication estimée - taille d'effet moyenne sans biais.

Mon problème, cependant, découle de cet extrait de Stanley et Doucouliagos (2014):

Dans nos simulations, une hétérogénéité inexpliquée en excès est toujours incluse; ainsi, selon la pratique conventionnelle, les REE [estimateurs à effets aléatoires] devraient être préférés aux FEE [estimateurs à effets fixes]. Cependant, la pratique conventionnelle est erronée lorsqu'il y a sélection de publications. Avec la sélection pour la signification statistique, l'ETR est toujours plus biaisé que l'ETF (tableau 3). Cette infériorité prévisible est due au fait que REE est lui-même une moyenne pondérée de la moyenne simple, qui a le biais de publication le plus important, et FEE.

Ce passage m'amène à penser que je ne devrais pas utiliser le PET-PEESE dans des modèles méta-analytiques à effets aléatoires / à effets mixtes, mais un modèle méta-analytique à plusieurs niveaux semble nécessiter un estimateur à effets aléatoires.

Je suis déchiré quant à quoi faire. Je veux pouvoir modéliser toutes mes tailles d'effet dépendantes, mais profiter simultanément de cette méthode particulière de correction du biais de publication. Existe-t-il un moyen pour moi d'intégrer légitimement la stratégie de méta-analyse à 3 niveaux avec PET-PEESE?

Références

Cheung, MWL (2014). Modélisation de la taille des effets dépendants avec des méta-analyses à trois niveaux: une approche de modélisation par équation structurelle. Psychological Methods , 19 , 211-229.

Stanley, TD et Doucouliagos, H. (2014). Approximations de méta-régression pour réduire le biais de sélection des publications. Research Synthesis Methods , 5 , 60-78.

J'ai travaillé sur une méta-analyse suivant principalement l'approche de Cheung (mais pas les 3 niveaux) et j'ai récemment rencontré l'approche PET-PEESE pour corriger le biais de publication. J'ai également été intrigué par les combinaisons des deux approches. Jusqu'à présent, mon expérience. Je pense qu'il y a deux façons de résoudre votre problème. Un simple et un plus compliqué.

La citation ci-dessous semble suggérer que les effets aléatoires exacerbent le biais de publication. Il me semble donc que si vous soupçonnez que le biais de publication est un problème, vous ne pouvez pas simplement utiliser un modèle d'effets aléatoires.

Avec la sélection pour la signification statistique, l'ETR est toujours plus biaisé que l'ETF (tableau 3). Cette infériorité prévisible est due au fait que REE est lui-même une moyenne pondérée de la moyenne simple, qui a le biais de publication le plus important, et FEE.

Je suppose que le biais de publication est une grave préoccupation.

Approche simple: modéliser l'hétérogénéité sous PET-PEESE

Si j'ai bien compris les questions, je pense que cette approche est le point de départ le plus pragmatique.

L'approche PET-PEESE se prête à des extensions de régressions méta-analytiques. Si la source d'hétérogénéité provient principalement des différentes variables dans les tailles d'effet, vous pouvez modéliser l'hétérogénéité en tant qu'effets fixes en incluant des variables indicatrices (1/0) pour chaque variable *. De plus, si vous pensez que certaines variables ont de meilleures propriétés de mesure ou sont plus proches de votre construction d'intérêt, vous voudrez peut-être jeter un œil au style de méta-analyse Hunter et Schmidt. Ils proposent quelques corrections pour l'erreur de mesure.

Cette approche vous donnerait probablement une première idée de la taille du biais de publication via les intersections PET et PEESE et de l'hétérogénéité basée sur la variance des effets fixes.

L'approche la plus compliquée: hétérogénéité du modèle et biais de publication explicite

Je veux dire que vous modélisez explicitement l'occurrence de biais de publication selon l'article de Stanley et Doucouliagos. Vous devez également écrire explicitement les trois niveaux de Cheung sous forme d'effets aléatoires. En d'autres termes, cette approche vous oblige à spécifier vous-même la probabilité et serait probablement une contribution méthodologique en soi.

Je pense qu'il est possible de spécifier une telle probabilité (avec des a priori appropriés) en suivant une approche hiérarchique de Bayes dans Stan et d'utiliser les estimations postérieures. Le manuel comporte une courte section sur la méta-analyse. La liste des utilisateurs est également très utile.

La deuxième approche est probablement exagérée pour ce que vous voulez à ce stade, mais elle serait probablement plus correcte que la première approche. Et je serais intéressé de savoir si cela fonctionne.

* Si vous avez beaucoup de variables (et pas beaucoup de tailles d'effet), il serait préférable de regrouper des variables similaires en groupes (oui, c'est un appel au jugement) et d'utiliser des variables d'indicateur de groupe.