Justifications d'un modèle à effets fixes vs à effets aléatoires en méta-analyse

J'ai lu plusieurs publications tentant de justifier l'utilisation d'un modèle à effets fixes avec des affirmations du type "le modèle à effets fixes a été choisi parce que l'hétérogénéité était faible". Cependant, je crains qu'il ne s'agisse toujours d'une approche inappropriée de l'analyse des données.

Y a-t-il des raisons ou des publications qui discutent si et pourquoi cela pourrait être une erreur?

Remarque: Si vous souhaitez une réponse rapide à votre question concernant l'utilisation du test d'hétérogénéité pour prendre cette décision, faites défiler jusqu'à " Quelles justifications sont raisonnables? ".

Il existe quelques justifications (certaines plus / moins raisonnables que d'autres) que les chercheurs proposent pour leur sélection d'une synthèse méta-analytique à effets fixes vs effets aléatoires. Celles-ci sont discutées dans des manuels d'introduction à la méta-analyse, comme Borenstein et al. (2009), Card (2011) et Cooper (2017).

Sans condamner ni tolérer (encore) aucune de ces justifications, elles comprennent:

Justifications pour la sélection du modèle à effets fixes

1. Simplicité analytique : Certaines personnes pensent que le calcul / l'interprétation d'un modèle à effets aléatoires dépasse leur compréhension statistique, et s'en tiennent donc à un modèle plus simple. Avec le modèle à effet fixe, le chercheur n'a qu'à estimer la variabilité de la taille des effets induite par l'erreur d'échantillonnage. Pour le meilleur ou pour le pire, il s'agit d'une pratique pragmatique encouragée explicitement dans Card (2011).

2. Croyance antérieure en l'absence de variabilité / modérateurs au niveau de l'étude : si un chercheur estime que toutes les tailles d'effet dans leur échantillon ne varient qu'en raison d'une erreur d'échantillonnage - et qu'il n'y a pas de variabilité systématique au niveau de l'étude (et donc pas de modérateurs - il y aurait Je pense que cette justification et les premiers marchent parfois main dans la main, lorsqu'un chercheur estime que l'adaptation d'un modèle à effets aléatoires dépasse leur capacité, puis rationalise ensuite cette décision en affirmant, après le fait qu'ils n'anticipent aucune quantité d'hétérogénéité réelle au niveau de l'étude.

3. Les modérateurs systématiques ont été examinés de manière exhaustive : certains chercheurs peuvent utiliser une analyse à effet fixe après avoir étudié et pris en compte tous les modérateurs auxquels ils peuvent penser. La justification sous-jacente ici est qu'une fois qu'un chercheur a pris en compte toutes les sources imaginables / significatives de variabilité au niveau de l'étude, tout ce qui peut rester est une erreur d'échantillonnage, et donc un modèle à effets aléatoires serait inutile.

4. $Q$
5. Intention de faire des inférences limitées / spécifiques : les modèles à effets fixes sont appropriés pour parler de modèles d'effets strictement dans l'échantillon d'effets. Un chercheur pourrait donc justifier l'ajustement d'un modèle à effets fixes s'il est à l'aise de parler uniquement de ce qui se passe dans son échantillon, et de ne pas spéculer sur ce qui pourrait se passer dans les études manquées par sa revue, ou dans les études qui viennent après sa revue.

Justifications pour la sélection d'un modèle à effets aléatoires

6. Croyance antérieure en variabilité / modérateurs au niveau de l'étude : contrairement à la justification 2. (en faveur des modèles à effets fixes), si le chercheur prévoit qu'il y aura une certaine quantité significative de variabilité au niveau de l'étude (et donc de la modération), ils le feraient par défaut pour spécifier un modèle à effets aléatoires. Si vous venez d'un milieu psychologique (je le fais), cela devient une façon par défaut de plus en plus routinière / encouragée de penser à la taille des effets (par exemple, voir Cumming, 2014).

7. $Q$$Q$$Q$

8. $Q$

9. Intention de faire des inférences larges / généralisables : contrairement aux modèles à effets fixes, les modèles à effets aléatoires autorisent un chercheur à parler (dans une certaine mesure) au-delà de son échantillon, en termes de modèles d'effets / modération qui se joueraient dans une littérature plus large. Si ce niveau d'inférence est souhaitable pour un chercheur, il pourrait donc préférer un modèle à effets aléatoires.

Conséquences de la spécification du mauvais modèle

Bien que ce ne soit pas une partie explicite de votre question, je pense qu'il est important de souligner pourquoi il est important pour le chercheur de "bien faire les choses" lors de la sélection entre les modèles de méta-analyse à effets fixes et à effets aléatoires: cela revient en grande partie à l'estimation précision et puissance statistique .

Les modèles à effets fixes sont plus puissants statistiquement au risque de produire des estimations artificiellement précises; les modèles à effets aléatoires sont moins puissants sur le plan statistique, mais potentiellement plus raisonnables s'il existe une véritable hétérogénéité. Dans le contexte des tests des modérateurs, les modèles à effets fixes peuvent sous-estimer l'étendue de la variance d'erreur, tandis que les modèles à effets aléatoires peuvent surestimer l'ampleur de la variance d'erreur (selon que leurs hypothèses de modélisation sont satisfaites ou violées, voir Overton, 1998). Encore une fois, dans la littérature en psychologie, il y a un sentiment croissant que le domaine s'est trop appuyé sur des méta-analyses à effets fixes, et que nous nous sommes donc trompés dans un plus grand sentiment de certitude / précision dans nos effets (voir Schmidt et al ., 2009).

Quelles justifications sont raisonnables?

$Q$$Q$$Q$ est susceptible d'être sous-alimenté pour détecter une hétérogénéité significative (ou sur-alimenté pour détecter des quantités insignifiantes d'hétérogénéité).

La simplicité analytique ( justification 1 ) semble être une autre justification pour les modèles à effets fixes qui a peu de chances de réussir (pour des raisons qui, je pense, sont plus évidentes). Soutenir que tous les modérateurs possibles ont été épuisés ( justification 3. ), en revanche, pourrait être plus convaincant dans certains cas, si le chercheur peut démontrer qu'il a considéré / modélisé un large éventail de variables de modérateur. S'ils n'ont codé que quelques modérateurs, cette justification sera probablement considérée comme assez spécieuse / fragile.

Laisser les données prendre la décision via un modèle à effets aléatoires par défaut ( justification 8. ) en est un qui me semble incertain. Ce n'est certainement pas une décision active / fondée sur des principes, mais couplée au changement du champ de la psychologie vers la préférence par défaut pour les modèles à effets aléatoires, cela peut s'avérer être une justification acceptable (mais pas particulièrement réfléchie).

Cela laisse des justifications liées aux croyances antérieures concernant la (les) distribution (s) des effets ( justification 2. et justification 6. ), et celles liées aux types d'inférences que le chercheur souhaite être autorisé à faire ( justification 5. et justification 9).). La plausibilité des croyances antérieures sur la distribution des effets dépendra en grande partie des caractéristiques de la recherche que vous synthétisez; comme le note Cooper (2017), si vous synthétisez les effets de processus mécanistes / universels, collectés dans des contextes / échantillons largement similaires, et dans des environnements étroitement contrôlés, une analyse à effets fixes pourrait être tout à fait raisonnable. La synthèse des résultats des réplications de la même expérience serait un bon exemple du moment où cette stratégie analytique pourrait être souhaitable (voir. Goh et al., 2016). Cependant, si vous synthétisez un domaine où les conceptions, les manipulations, les mesures, les contextes et les caractéristiques des échantillons diffèrent un peu, il semble de plus en plus difficile de soutenir que l'on étudie exactementle même effet dans chaque cas. Enfin, les types d'inférences que l'on souhaite faire semblent être une question de préférence / goût personnels, donc je ne sais pas comment on pourrait commencer à argumenter pour / contre cette justification tant qu'elle semble conceptuellement défendable.

Références

Borenstein, M., Hedges, LV, Higgins, JPT et Rothstein, HR (2009). Introduction à la méta-analyse . West Sussex, Royaume-Uni: Wiley.

Card, NA (2011). Méta-analyse appliquée pour la recherche en sciences sociales. New York, NY: Guilford Press.

Cooper, H. (2017). Synthèse de la recherche et méta-analyse: une approche par étapes. Thousand Oaks, Californie: sauge.

Cumming, G. (2014). Les nouvelles statistiques: pourquoi et comment. Psychological Science , 25 (1), 7-29.

Goh, JX, Hall, JA et Rosenthal, R. (2016). Mini méta-analyse de vos propres études: quelques arguments sur le pourquoi et une introduction sur le comment. Compas de psychologie sociale et de la personnalité , 10 (10), 535-549.

Overton, RC (1998). Une comparaison des modèles à effets fixes et mixtes (effets aléatoires) pour les tests de méta-analyse des effets variables du modérateur. Psychological Methods , 3 (3), 354-379.

Schmidt, FL, Oh, IS et Hayes, TL (2009). Modèles à effets fixes et aléatoires en méta-analyse: propriétés du modèle et comparaison empirique des différences de résultats. British Journal of Mathematical and Statistical Psychology , 62 (1), 97-128.

Vous demandez notamment des références.

La référence classique pour cela est probablement l'article de Hedges et Vevea intitulé " Modèles à effets fixes et aléatoires en méta-analyse ".

Si vous travaillez dans le domaine de la santé, le chapitre pertinent du manuel Cochrane est probablement une lecture essentielle et contient beaucoup de bon sens. En particulier, il suggère quand la méta-analyse ne devrait pas du tout être prise en compte et distingue clairement ce qu'il faut faire à propos de l'hétérogénéité autre que l'ajustement des modèles à effets aléatoires.