Examen des statistiques dans les articles

43

Pour certains d'entre nous, l'arbitrage des documents fait partie du travail. Lors de l’arbitrage de documents de méthodologie statistique, je pense que des conseils provenant d’autres domaines sont plutôt utiles, à savoir l’ informatique et les mathématiques .

Cette question concerne l'examen d'un plus grand nombre d'articles statistiques appliqués. J'entends par là que le document est soumis à un journal non statistique / mathématique et que les statistiques sont simplement mentionnées dans la section "méthodes".

Quelques questions particulières:

  1. Combien d'efforts devons-nous mettre pour comprendre le domaine d'application?
  2. Combien de temps dois-je consacrer à un rapport?
  3. Comment êtes-vous pointilleux quand vous regardez des figures / tableaux.
  4. Comment gérez-vous les données non disponibles?
  5. Est-ce que vous essayez de réexécuter l'analyse utilisée?
  6. Quel est le nombre maximum d'articles que vous examineriez dans une année?

Avez-vous manqué des questions? N'hésitez pas à modifier ou à ajouter un commentaire.

modifier

J'arrive à cette question en tant que statisticien qui examine un article de biologie, mais je m'intéresse à l'examen statistique de toute discipline non mathématique.


Je ne suis pas sûr si cela devrait être un CW. D'une part c'est un peu ouvert, mais de l'autre je me vois accepter une réponse. En outre, les réponses seront probablement assez longues.

csgillespie
la source

Réponses:

21

Je ne suis pas sûr du domaine scientifique auquel vous faites allusion (je suis sûr que la réponse serait très différente s'il s'agissait de la biologie par rapport à la physique, par exemple ...)

Quoi qu'il en soit, en tant que biologiste, je répondrai d'un point de vue "biologique":

Combien d'efforts devons-nous mettre pour comprendre le domaine d'application?

J'ai tendance au moins à lire les précédents articles des mêmes auteurs et à chercher quelques critiques sur le sujet si je ne le connais pas trop. Cela est particulièrement vrai lorsqu'il s'agit de nouvelles techniques que je ne connais pas, car je dois savoir si elles ont effectué tous les contrôles appropriés, etc.

Combien de temps dois-je consacrer à un rapport?

Autant que nécessaire (OK, réponse idiote, je sais!: P) En général, je ne voudrais pas que quelqu'un relisant mon article fasse un travail approximatif simplement parce qu'il / elle a autre chose à faire, j'essaie donc de ne pas le faire moi-même. .

Comment êtes-vous pointilleux quand vous regardez des figures / tableaux.

Assez pointilleux. Les chiffres sont la première chose que vous regardez lorsque vous parcourez un document. Ils doivent être cohérents (par exemple, titres corrects sur les axes, légende correcte, etc.). À l'occasion, j'ai suggéré d'utiliser un type de tracé différent pour afficher les données lorsque je pensais que celui utilisé n'était pas le meilleur. Cela se produit souvent en biologie, un domaine dominé par le type de graphique "graphique à barres +/- SEM". Je suis également assez pointilleux sur la section "matériaux et méthodes": une analyse statistique parfaite sur un modèle biologique fondamentalement erroné est totalement inutile.

Comment gérez-vous les données non disponibles?

Vous faites juste et faites confiance aux auteurs, je suppose. Dans de nombreux cas en biologie, vous ne pouvez pas faire grand chose, en particulier lorsque vous vous occupez d'éléments tels que l'imagerie ou le comportement animal, etc. Sauf si vous voulez que les gens publient des tonnes d'images, de vidéos, etc. (que vous ne voudriez probablement pas voir de toute façon), mais cela peut s'avérer très peu pratique. Si vous pensez que les données sont vraiment nécessaires, demandez aux auteurs de les fournir en tant que données / chiffres supplémentaires.

Est-ce que vous essayez de réexécuter l'analyse utilisée?

Seulement si j’ai de sérieux doutes sur les conclusions tirées par les auteurs. En biologie, il existe souvent une différence entre ce qui est (ou non) "statistiquement significatif" et ce qui est "biologiquement significatif". Je préfère une analyse statistique plus fine avec un bon raisonnement biologique que l'inverse. Mais encore une fois, dans le cas très improbable où j’aurais à passer en revue un article de bio-statistique (ahah, ce serait amusant!), Je ferais probablement plus attention aux statistiques qu’à la biologie.

Nico
la source
6
J'aurais donné à peu près la même réponse, mais la voici bien énoncée. Permettez-moi d'ajouter juste deux choses basées sur l'expérience. Premièrement, j’ai trouvé qu’il était presque toujours intéressant de relancer toute analyse possible: elle sert à vérifier ma compréhension et, plus souvent qu’on pourrait s’y attendre, elle révèle des erreurs dans le document lui-même. Deuxièmement, il est essentiel de localiser les références clés et de trouver vos propres références en cherchant des expressions sur le Web. Un nombre important de contributions récemment sont des (auto) plagiats ou des tentatives chauves d’obtenir un autre papier à partir d’anciens travaux.
whuber
J'ai ajouté une question supplémentaire. Si ce n'est pas trop compliqué, voudriez-vous mettre à jour votre réponse?
csgillespie
1
@csgillespie: Je pense que je suis trop tôt dans ma carrière pour répondre à cette question, car on ne me demande probablement pas de relire autant de papiers qu'une personne plus expérimentée que moi. Je pense que @ Whuber répond à beaucoup de sens cependant.
nico
16

Cela répond à la nouvelle question n ° 6: "Quel est le nombre maximum de documents que vous examineriez en un an?" Je réponds en tant que membre de plusieurs comités de rédaction. Le problème récurrent est de trouver suffisamment de réviseurs. Selon le journal, chaque article soumis a besoin d'un à trois examinateurs, généralement de trois. Si le journal a un taux d'acceptation de %, le nombre moyen de critiques par article accepté est évidemment d'environ . Par exemple , si le taux d'acceptation est de 33%, les rédacteurs en chef doivent obtenir neuf critiques pour chaque article publié. Si vous, en tant qu'auteur, prenez ceci au sérieux, vous devrez alors essayer de fournir neuf critiques (ou le nombre qui semblera être celui de vos revues cibles) pour chaque article que vous publiez!3 / ( x / 100 )x3/(x/100)

J'ai été ému d'écrire ceci en raison du fort parallèle avec le vote sur ce site: pour que vous puissiez acquérir une réputation de , d'autres personnes doivent passer au vote supérieur en combinant de vos réponses et de vos questions. Ainsi, si vous tirez votre poids, une vérification de votre profil devrait montrer au moins votes positifs. C'est le cas pour beaucoup de membres de ce site, mais certainement pas tous. Quelque chose à penser ... Pensez à voter!r / 10 r / 5 r / 10rr/10r/5 r/10

whuber
la source
1
@chl de toutes les personnes ici présentes, vous devriez être le moins soucieux de voter suffisamment!
whuber
1
@chl: vous mettez la barre haute dans tous les sens! :) Peut-être que notre premier projet polystats devrait être de mettre en place des scripts pour maintenir et mettre à jour un ensemble de graphiques comme ceux-ci: meta.stats.stackexchange.com/questions/314/…
ars
11

Mon PDV examinerait un article en psychologie ou prévoirait ses avantages statistiques. Je vais surtout appuyer les très bonnes remarques de Nico.

Combien d'efforts devons-nous mettre pour comprendre le domaine d'application?

Beaucoup, en fait. Je ne me fierais pas à commenter davantage que les problèmes statistiques les plus élémentaires sans avoir compris le domaine. Heureusement, ce n'est souvent pas très difficile dans de nombreuses branches de la psychologie.

Combien de temps dois-je consacrer à un rapport?

Je vais m'exprimer et dire un temps précis: je consacrerai de deux à huit heures à un examen, parfois plus. Si je trouve que je passe plus d'une journée sur un papier, cela signifie probablement que je ne suis vraiment pas qualifié pour le comprendre. Je recommanderai donc au journal de trouver quelqu'un d'autre (et d'essayer de suggérer des personnes).

Etes-vous difficile en regardant les figures / tableaux?

Très difficile en effet. Les chiffres vont être ce que les gens se souviennent d'un article et ce qui aboutit à des présentations de conférences sans trop de contexte, il faut donc bien les faire.

Comment gérez-vous les données non disponibles?

En psychologie, les données ne sont généralement pas partagées - mesurer 50 personnes en IRM coûte très cher, et les auteurs voudront utiliser ces données pour d'autres articles. Je comprends donc un peu leur réticence à les divulguer. Donc, toute personne qui partage ses données obtient un gros bonus dans mon livre, mais ne pas partager est compréhensible.

En prévision, de nombreux jeux de données sont disponibles au public. Dans ce cas, je recommande généralement que les auteurs partagent leur code (et le fassent moi-même).

Est-ce que vous essayez de réexécuter l'analyse utilisée?

Sans les données, il y a tellement de choses que l'on peut apprendre de cela. Je vais jouer avec les données simulées si quelque chose de très surprenant se dégage des résultats de l'article. sinon, on peut souvent distinguer les méthodes appropriées des méthodes inappropriées sans les données (une fois que l’on comprend la zone, voir ci-dessus).

Quel est le nombre maximum d'articles que vous examineriez dans une année?

Il y a vraiment peu de choses à ajouter au point ci-dessus - en supposant que chaque article avec en moyenne n co-auteurs I (co) soumet reçoive 3 critiques, on devrait vraiment viser à réviser au moins 3 / ( n + 1 ) articles pour chaque propre soumission. (comptant les soumissions plutôt que leurs propres documents qui peuvent être rejetés et soumis de nouveau). Et bien sûr, le nombre de soumissions ainsi que le nombre de coauteurs varient fortement avec la discipline.

S. Kolassa - Rétablir Monica
la source
J'ai ajouté une question supplémentaire. Si ce n'est pas trop compliqué, voudriez-vous mettre à jour votre réponse?
csgillespie
1
Fait intéressant, la plupart des chercheurs en études sur la génétique sont encouragés ou ravis (cela dépend de l'examen) de rendre les données disponibles. Je rappelle aussi à @csgillepsie une réponse intéressante concernant la recherche reproductible , stats.stackexchange.com/questions/1980/…
chl
@chl: oui, rendre les données disponibles dépend beaucoup de la discipline, et j'aimerais beaucoup voir cela de plus en plus dans la psychologie "traditionnelle" - je ne me souviens tout simplement pas d'avoir vu un seul article d'un article psychologique qui a effectivement été distribué les données.
S. Kolassa - Rétablir Monica