Une méta-analyse comprend un tas d'études, qui ont toutes rapporté une valeur P supérieure à 0,05. Est-il possible que la méta-analyse globale rapporte une valeur P inférieure à 0,05? Dans quelles circonstances?
(Je suis presque sûr que la réponse est oui, mais j'aimerais une référence ou une explication.)
statistical-significance
meta-analysis
combining-p-values
Harvey Motulsky
la source
la source
Réponses:
En théorie, oui ...
Les résultats des études individuelles peuvent être insignifiants mais considérés ensemble, les résultats peuvent être significatifs.
En théorie, vous pouvez procéder en traitant les résultatsyi de l'étude i comme toute autre variable aléatoire.
Soit une variable aléatoire (par exemple, l'estimation de l'étude i ). Alors si y i sont indépendants et E [ y i ] = μyi i yi E[yi]=μ , vous pouvez constamment estimer la moyenne avec:
En ajoutant plus d'hypothèses, soit la variance de l'estimation y i . Ensuite, vous pouvez estimer efficacement μσ2i yi μ avec une pondération de variance inverse:
Dans ces deux peut être statistiquement significative à un certain niveau de confiance , même si les estimations individuelles ne sont pas.μ^
MAIS il peut y avoir de gros problèmes, des problèmes à prendre en compte ...
Si la méta-analyse peut ne pas converger vers μ (c.- à-d. Que la moyenne de la méta-analyse est un estimateur incohérent).E[yi]≠μ μ
Par exemple, s'il existe un biais contre la publication de résultats négatifs, cette simple méta-analyse peut être horriblement incohérente et biaisée! Ce serait comme estimer la probabilité qu'un lancer de pièce tombe en tête en observant uniquement les tours où il n'a pas atterri la queue!
et y j peuvent ne pas être indépendants. Par exemple, si deux études i et j étaient basées sur les mêmes données, alors traiter y i et y jyi yj i j yi yj comme indépendants dans la méta-analyse peut largement sous-estimer les erreurs standard et surestimer la signification statistique. Vos estimations seraient toujours cohérentes, mais les erreurs-types doivent raisonnablement tenir compte de la corrélation croisée dans les études.
La combinaison de (1) et (2) peut être particulièrement mauvaise.
Par exemple, la méta-analyse de la moyenne des sondages ensemble a tendance à être plus précise que tout sondage individuel. Mais la moyenne des sondages ensemble est toujours vulnérable aux erreurs corrélées. Quelque chose qui est apparu lors des dernières élections est que les jeunes travailleurs des bureaux de vote peuvent avoir tendance à interroger d'autres jeunes plutôt que des personnes âgées. Si tous les sondages de sortie font la même erreur, alors vous avez une mauvaise estimation qui peut être considérée comme une bonne estimation (les sondages de sortie sont corrélés car ils utilisent la même approche pour effectuer des sondages de sortie et cette approche génère la même erreur).
Sans aucun doute, les personnes plus familières avec la méta-analyse peuvent trouver de meilleurs exemples, des problèmes plus nuancés, des techniques d'estimation plus sophistiquées, etc., mais cela touche à certaines des théories les plus élémentaires et à certains des plus gros problèmes. Si les différentes études font une erreur aléatoire indépendante, la méta-analyse peut être incroyablement puissante. Si l'erreur est systématique dans toutes les études (par exemple, tout le monde sous-estime les électeurs plus âgés, etc.), alors la moyenne des études sera également erronée. Si vous sous-estimez la corrélation des études ou la corrélation des erreurs, vous surestimez effectivement la taille globale de votre échantillon et sous-estimez vos erreurs standard.
Il y a aussi toutes sortes de problèmes pratiques de définitions cohérentes, etc.
la source
Oui. Supposons que vous ayez valeurs p issues de N études indépendantes.N N
Test de Fisher
(EDIT - en réponse au commentaire utile de @ mdewey ci-dessous, il est pertinent de faire la distinction entre différents méta-tests. J'expose le cas d'un autre méta-test mentionné par mdewey ci-dessous)
Le méta-test classique de Fisher (voir Fisher (1932), "Méthodes statistiques pour les chercheurs" ) statistique a une distribution nulle χ 2 2 N , comme - 2 ln ( U ) ∼ χ 2 2 pour un rv U uniforme .
Soit le quantile ( 1 - α ) de la distribution nulle.χ22N(1−α) (1−α)
Supposons que toutes les valeurs de p soient égales à , où, éventuellement, c > α . Alors, F = - 2 N ln ( c ) et F > χ 2 2 N ( 1 - α ) lorsque c < exp ( - χ 2 2 N ( 1 - α )c c>α F=−2Nln(c) F>χ22N(1−α)
Par exemple, pourα=0,05etN=20, lesvaleurspindividuellesdoivent seulement être inférieures à
Bien sûr, ce que la méta-statistique teste est "seulement" le null "agrégé" que tous les nulls individuels sont vrais, ce qui doit être rejeté dès qu'un seul des nulls est faux.N
MODIFIER:
Voici un tracé des valeurs de p "admissibles" par rapport à , ce qui confirme que c croît dans N , bien qu'il semble se stabiliser à c ≈ 0,36 .N c N c≈0.36
Je trouve une limite supérieure pour les quantiles de la de distribution χ 2 2 N ( 1 - α ) ≤ 2 N + 2 log ( 1 / α ) + 2 √χ2 ici, suggérant queχ 2 2 N (1-α)=O(N) desorte que
exp ( - χ 2 2 N ( 1 - α )
Test normal inverse (Stouffer et al., 1949)
La statistique de test est donnée par
la source
It is easy to see the since thek th root of a number less than unity is closer to unity the last term is greater than α∗ and hence the overall result will be non-significant unless p[1] is already less than α∗ .
It is possible to work out the critical value and for example if we have ten primary studies each with ap -values of 00.05 so as close to significant as can be then the overall critical value is 0.40. The method can be seen as a special case of Wilkinson's method which uses p[r] for 1≤r≤k and in fact for the particular set of primary studies even r=2 is not significant (p=0.09 )
L H C Tippett's method is described in a book The methods of statistics. 1931 (1st ed) and Wilkinson's method is here in an article "A statistical consideration in psychological research"
la source