Je lis Gelman & Carlin "Au-delà des calculs de puissance: évaluation des erreurs de type S (signe) et de type M (amplitude)" (2014). J'essaie de comprendre l'idée principale, la voie principale, mais je suis confus. Quelqu'un pourrait-il m'aider à distiller l'essence?
Le papier va quelque chose comme ça (si j'ai bien compris).
- Les études statistiques en psychologie sont souvent en proie à de petits échantillons.
- Sous réserve d'un résultat statistiquement significatif dans une étude donnée,
(1) la taille réelle de l'effet est susceptible d'être gravement surestimée et
(2) le signe de l'effet peut être opposé avec une probabilité élevée - sauf si la taille de l'échantillon est suffisamment grande. - Ce qui précède est montré en utilisant une estimation préalable de la taille de l'effet dans la population, et cet effet est généralement considéré comme faible.
Mon premier problème est, pourquoi conditionner le résultat statistiquement significatif? Est-ce pour refléter le biais de publication? Mais cela ne semble pas être le cas. Alors pourquoi alors?
Mon deuxième problème est, si je fais moi-même une étude, dois-je traiter mes résultats différemment de ce à quoi je suis habitué (je fais des statistiques fréquentistes, pas très familier avec le bayésien)? Par exemple, je prendrais un échantillon de données, estimerais un modèle et enregistrerais une estimation ponctuelle pour un certain effet d'intérêt et une confiance liée autour de lui. Dois-je maintenant me méfier de mon résultat? Ou dois-je me méfier de lui s'il est statistiquement significatif? Comment un changement donné avant cela?
Quel est le principal point à retenir (1) pour un "producteur" de recherches statistiques et (2) pour un lecteur d'articles statistiques appliqués?
Les références:
- Gelman, Andrew et John Carlin. "Au-delà des calculs de puissance: évaluation des erreurs de type S (signe) et de type M (amplitude)." Perspectives on Psychological Science 9.6 (2014): 641-651.
PS Je pense que le nouvel élément pour moi ici est l'inclusion d'informations préalables, que je ne sais pas comment traiter (provenant du paradigme fréquentiste).
la source
Réponses:
J'ai relu le papier et cette fois il semble beaucoup plus clair. Maintenant, les commentaires utiles de @Glen_b et @amoeba ont beaucoup de sens.
La bonne nouvelle est que les deux problèmes peuvent être résolus de manière satisfaisante.
Pour répondre brièvement à mes deux questions:
la source
Il existe un autre angle de ce document qui peut être utile si vous appliquez déjà une analyse bayésienne et que vous ne vous souciez pas de la partie de la signification statistique.
Vous devez faire attention à ce que personne n'utilise à mauvais escient cette métrique de «puissance» comme si c'était la même chose qu'un calcul de puissance fréquentiste, ce qui est assez difficile. Mais toutes ces métriques sont très utiles pour l'analyse de conception prospective et rétrospective même lorsque toute la procédure de modélisation est bayésienne et ne fait référence à aucun résultat de signification statistique.
la source