Comment définissons-nous la «recherche reproductible»?

50

Cela a été soulevé dans quelques questions maintenant, et je me demandais quelque chose. Le champ dans son ensemble est-il passé à la "reproductibilité" en mettant l'accent sur la disponibilité des données d'origine et du code en question?

On m'a toujours appris que le cœur de la reproductibilité n'était pas nécessairement, comme je l'ai déjà dit, la possibilité de cliquer sur Exécuter et d'obtenir les mêmes résultats. L'approche données-codes semble supposer que les données sont correctes - qu'il n'y a pas de faille dans la collecte des données elles-mêmes (souvent manifestement fausse dans le cas d'une fraude scientifique). Il se concentre également sur un échantillon unique de la population cible, plutôt que sur la réplicabilité des résultats sur plusieurs échantillons indépendants.

Pourquoi met-on alors l’accent sur la possibilité de réexécuter l’analyse plutôt que de dupliquer l’étude à partir de la base?

L'article mentionné dans les commentaires ci-dessous est disponible ici .

Fomite
la source
Bonne question ! Je mets une référence au papier de donoho dans ma réponse, mais quelles sont vos références écrites sur la recherche reproductible?
robin girard
Dans le numéro de ce mois-ci d’ Epidémiologie, Reiter et Kinney ont écrit un article intitulé «Partage de données confidentielles à des fins de recherche: guide d’introduction» qui explique comment rendre le code et les données disponibles dans des circonstances où il est impossible d’ajouter un fichier .csv. et la nécessité de s'assurer que la confidentialité reste intacte.
Fomite
@EpiGrad, puisque "ce mois-ci" est passé, un lien vers l'article serait utile. Merci de poser une excellente question qui contribue aux CV et à l’analyse scientifique / de données!
gung - Rétablir Monica
@gung Quel article est-ce?
Fomite
@EpiGrad juste au-dessus, Reiter & Kinney. +1 btw
gung - Réintégrer Monica

Réponses:

41

"Recherche reproductible" comme analyse reproductible

La recherche reproductible est un terme utilisé dans certains domaines de recherche pour désigner spécifiquement des analyses telles que

  • le code transforme les données brutes et les méta-données en données traitées,
  • le code exécute des analyses sur les données, et
  • Le code intègre des analyses dans un rapport.

Lorsque ces données et codes sont partagés, cela permet à d'autres chercheurs de:

  • effectuer des analyses non rapportées par les chercheurs d'origine
  • vérifier l'exactitude des analyses effectuées par les chercheurs d'origine

Cet usage est visible dans les discussions sur des technologies telles que Sweave . Par exemple, Friedrich Leisch écrit dans le contexte de Sweave que "le rapport peut être automatiquement mis à jour si les données ou les analyses changent, ce qui permet une recherche véritablement reproductible". La vue des tâches du CRAN sur la recherche reproductible indique également que "l'objectif de la recherche reproductible est de lier des instructions spécifiques à l'analyse de données et à des données expérimentales afin de permettre la reconstitution, la compréhension et la vérification des données scientifiques".

Utilisation plus large du terme "reproductibilité"

La reproductibilité est un objectif fondamental de la science. Ce n'est pas nouveau Les rapports de recherche comprennent des sections sur la méthode et les résultats, qui doivent décrire la manière dont les données ont été générées, traitées et analysées. En règle générale, les détails fournis doivent être suffisants pour permettre à un chercheur suffisamment compétent de prendre les informations fournies et de reproduire l’étude.

La reproductibilité est également étroitement liée aux concepts de réplicabilité et de généralisation.

Ainsi, le terme "recherche reproductible", pris littéralement, appliqué à des technologies telles que Sweave, est impropre, dans la mesure où il suggère une pertinence plus large qu'il ne le couvre. En outre, lorsqu’ils présentent des technologies telles que Sweave à des chercheurs qui n’ont pas utilisé de telles technologies, ces chercheurs sont souvent surpris lorsque j’appelle le processus «recherche reproductible».

Un meilleur terme que "recherche reproductible"

Étant donné que la "recherche reproductible" telle qu'elle est utilisée dans les contextes ressemblant à Sweave ne concerne qu'un aspect de la recherche reproductible, un terme alternatif devrait peut-être être adopté. Les alternatives possibles incluent:

Tous les termes ci-dessus reflètent plus précisément ce que comportent des analyses analogues à celles de Sweave. L'analyse reproductible est courte et douce. L'ajout de "données" ou de "statistiques" clarifie davantage les choses, mais rend également le terme à la fois plus long et plus étroit. En outre, le terme "statistique" a un sens étroit et un sens large, et certainement dans le sens étroit, une grande partie du traitement de données n'est pas statistique. Ainsi, la portée implicite de l'expression "analyse reproductible" présente des avantages .

Il ne s'agit pas seulement de reproductibilité

L’autre problème supplémentaire lié à l’expression "recherche reproductible" est l’objectif des technologies analogues à Sweave n’est pas simplement la "reproductibilité". Il y a plusieurs objectifs interdépendants:

  • Reproductibilité
    • Les analyses peuvent-elles être facilement réexécutées pour transformer les données brutes en rapport final avec les mêmes résultats?
  • La justesse
    • L’analyse des données est-elle conforme aux intentions du chercheur?
    • Les intentions du chercheur sont-elles correctes?
  • Ouverture
    • Transparence, responsabilité
      • Est-ce que d'autres personnes peuvent vérifier et vérifier l'exactitude des analyses effectuées?
    • Extensibilité, modifiable
      • D'autres personnes peuvent-elles modifier, étendre, réutiliser et mash, les données, les analyses ou les deux pour créer de nouveaux travaux de recherche?

Il existe un argument selon lequel une analyse reproductible devrait favoriser des analyses correctes, car il existe une trace écrite des analyses pouvant être vérifiées. De plus, si les données et le code sont partagés, cela crée une responsabilité qui motive les chercheurs à vérifier leurs analyses et permet aux autres chercheurs de noter les corrections.

L'analyse reproductible est également étroitement liée aux concepts de recherche ouverte. Bien entendu, un chercheur peut utiliser des technologies analogues à Sweave pour lui-même. Les principes de recherche ouverts encouragent le partage des données et du code d'analyse pour permettre une réutilisation et une responsabilisation accrues.

Ce n'est pas vraiment une critique de l'utilisation du mot "reproductible". Au contraire, il souligne simplement que l’utilisation de technologies analogues à Sweave est nécessaire mais pas suffisante pour atteindre des objectifs de recherche scientifique ouverts.

Jeromy Anglim
la source
2
(+1) Excellente réponse, très bons points. Je conviens que nous devrions appeler ce que Sweave et ses amis effectuent une analyse reproductible .
NRH
1
(+1) belle vue d'ensemble. mais je ferais remarquer que le terme «données brutes» est ambigu et peut induire en erreur - les données sont généralement traitées avant le stade auquel elles sont considérées comme «brutes», ne serait-ce que pour les insérer dans la machine.
David LeBauer
@Jeromy Anglim C'est une excellente réponse, qui explique ce qui me dérange dans la sémantique de la "recherche reproductible" - elle est utilisée pour décrire un processus qui n'a lieu qu'une fois le processus de génération de données terminé. J'aime l'idée de "Reproductible Analysis" comme terme.
Fomite
+1 @Jeromy Anglim, j'ai récemment contacté un auteur pour savoir s'il / elle pouvait partager le Rcode utilisé dans la publication. L'auteur a refusé de le faire et m'a dirigé vers la publication. À votre avis, considéreriez-vous cela comme un manque d'ouverture pour une recherche reproductible ou est-il suffisant de rendre la méthodologie explicite dans la revue et de laisser les autres programmes programmer eux-mêmes le code? Merci
prévisionniste
11

Avoir accès aux données et au code pour l'analyse sous une forme facile à exécuter est une condition sine qua non d'une recherche reproductible. Une fois que vous avez vérifié que l’analyse fonctionne, vous pouvez substituer votre propre code / données là où vous êtes sceptique par rapport à celui de l’auteur original. Je dirais que la majorité des documents contenant des statistiques que j'ai lus ont au moins une partie de la méthodologie laissée vague. Mes tentatives pour reproduire ces analyses échouent souvent (et prennent toujours beaucoup de temps), mais il est très difficile de dire si cela est dû à une fraude, à une erreur humaine ou (beaucoup plus probable) au fait que j'ai résolu ces ambiguïtés différemment de l'auteur. Donc, avoir data + code pour un article ne garantit pas que ses conclusions sont vraies, mais cela facilite beaucoup la critique ou l’extension de celles-ci.

En outre, la "recherche reproductible" est une question de degré. Ainsi, le mouvement de la recherche reproductible peut être considéré comme une recherche encourageante "plus reproductible" que la norme, plutôt que d'exiger que la recherche atteigne un seuil minimum. J'imagine que la «publication des données et du code» est à la mode parce que c'est une étape relativement facile et non menaçante.

Aaron
la source
9

Pouvoir tout refaire est un point de départ pour une recherche reproductible. Cela permet de montrer que vous utilisez réellement la même procédure. Après cela, et seulement après, vous pourrez poursuivre les recherches de votre pair. En d'autres termes, la reproductibilité stricte ne doit pas être perçue comme un moment propice à la recherche, mais comme un repère, un consensus , une chose sur laquelle les gens sont d'accord. N'est-ce pas fondamental d'aller plus loin?

En outre, selon la discussion de Donoho (lire la section 2 "Le scandale"), l'objectif de la recherche reproductible est également de tester la robustesse du code donné. D'abord en jouant avec le code, en apportant des modifications légères qui n'étaient pas faites dans le document (car nous ne voulons pas de documents avec 30 chiffres ...). Je pense que le concept de recherche reproductible dans la littérature contient l'idée d'avoir un repère fort et robuste. Cela contient presque l'idée d'aller plus loin.

robin girard
la source