Si j'ai de nombreux résultats positifs et insignifiants, puis-je tester «au moins de ces résultats sont positifs»?

Disons que j'ai effectué la même régression pour 100 individus différents séparément. Mes coefficients d'intérêt sont positifs (et assez différents les uns des autres) mais statistiquement non significatifs dans les 100 résultats (disons chaque valeur de p = 0,11).

Existe-t-il un moyen de combiner ces valeurs de p pour conclure "au moins 80 de ces résultats sont positifs" avec une signification plus grande que p = 0,11? Mes recherches en ligne m'ont seulement montré comment dire "au moins 1 de ces résultats est positif" à travers un test de Fisher ou similaire, mais je n'ai pas pu généraliser ce résultat. Je veux tester "H0 = les 100 effets sont identiques à 0" contre "HA = au moins 80 effets sont positifs".

Mon objectif n'est pas de dire qu'il y a un coefficient positif en moyenne, ni de mesurer spécifiquement le coefficient. Mon objectif est de démontrer, de manière significative, qu'au moins 80 personnes individuellement ont fait face à un effet positif, quel qu'en soit 80, et quelle que soit l'ampleur de l'effet ressenti par chaque individu.

Vous devez effectuer les 100 analyses en tant que modèle à effets mixtes unique, avec vos coefficients d'intérêt variables eux-mêmes aléatoires. De cette façon, vous pouvez estimer une distribution pour ces coefficients, y compris leur moyenne globale, ce qui vous donnera le type d'interprétation que je pense que vous recherchez.

Notant que si, comme je le soupçonne, c'est le cas, vous avez une série chronologique pour chaque individu, vous devrez également corriger l'autocorrélation des résidus.

La chose la plus simple à faire serait probablement un test de signe. L'hypothèse nulle est que chaque résultat a une probabilité égale d'être positif ou négatif (comme lancer une pièce juste). Votre objectif est de déterminer si les résultats observés seraient suffisamment improbables dans cette hypothèse nulle pour que vous puissiez les rejeter.

Quelle est la probabilité d'obtenir 80 têtes ou plus sur 100 tours d'une pièce équitable? Vous pouvez calculer cela en utilisant la distribution binomiale. Dans R, la fonction appropriée est appelée pbinomet vous pouvez obtenir une valeur p (unilatérale) en utilisant la ligne de code suivante:

pbinom(80, size = 100, prob = 0.5, lower.tail = FALSE)

Selon ce test, votre intuition est correcte, vous auriez extrêmement peu de chances d'obtenir 80 résultats positifs par hasard si le traitement n'avait aucun effet.

Une option étroitement liée consisterait à utiliser quelque chose comme le test de classement signé par Wilcoxon .

Une meilleure approche, si vous voulez réellement estimer la taille de l'effet (plutôt que de simplement déterminer s'il a tendance à être supérieur à zéro ou non), serait probablement un modèle hiérarchique ("mixte").

Ici, le modèle indique que les résultats de vos 100 individus proviennent d'une distribution, et votre objectif est de voir où se situe la moyenne de cette distribution (ainsi que les intervalles de confiance).

Les modèles mixtes vous permettent d'en dire un peu plus sur la taille de vos effets: après avoir ajusté le modèle, vous pourriez dire quelque chose comme "nous estimons que notre traitement a tendance à améliorer les résultats en moyenne de trois unités, bien que les données soient cohérentes avec la vraie moyenne" la taille de l'effet étant comprise entre 1,5 et 4,5 unités. En outre, il existe certaines variations entre les individus, de sorte qu'une personne donnée peut voir un effet allant de -0,5 à +6,5 unités ".

C'est un ensemble d'énoncés très précis et utiles - bien mieux que juste "l'effet est probablement positif, en moyenne", c'est pourquoi cette approche a tendance à être favorisée par les statisticiens. Mais si vous n'avez pas besoin de tous ces détails, la première approche que j'ai mentionnée pourrait également convenir.

Je me trompe peut-être complètement, mais il me semble que vous essayez de faire des mesures répétées de l'ANOVA. Il suffit de définir ce "mannequin" comme un facteur intra-sujet, et le modèle ferait le reste. La signification elle-même n'est pas très informative; elle est requise mais pas suffisante; tout modèle deviendrait significatif avec un nombre suffisamment important d'observations. vous voudrez peut-être obtenir la taille des effets, comme Eta-Squared (partiel), pour avoir une idée de la taille de votre effet. Mes 2 cents.

Cela peut être aussi simple qu'un calcul ANCOVA ordinaire, mais la manière appropriée d'analyser vos données dépendra de la situation physique et vous n'avez pas fourni ces détails.