Imaginez qu'un chercheur explore un ensemble de données et exécute 1000 régressions différentes et qu'il trouve entre elles une relation intéressante.
Imaginez maintenant qu'un autre chercheur avec les mêmes données exécute une seule régression, et il s'avère que c'est le même que l'autre chercheur a pris 1000 régressions pour trouver. Le chercheur 2 ne connaît pas le chercheur 1.
Le chercheur 1 devrait-il faire des déductions différentes de celles du chercheur 2? Pourquoi? Par exemple, le chercheur 1 devrait-il effectuer plusieurs corrections de comparaisons, mais pas le chercheur 2?
Si le chercheur 2 vous montrait d'abord sa régression unique, quelles inférences feriez-vous? Si après que ce chercheur 1 vous a montré ses résultats, devriez-vous changer votre déduction? Si oui, pourquoi est-ce important?
PS 1 : Si parler d'hypothétiques chercheurs rend le problème abstrait, pensez-y: imaginez que vous n'avez effectué qu'une seule régression pour votre article, en utilisant la meilleure méthode disponible. Ensuite, un autre chercheur a exploré 1000 régressions différentes avec les mêmes données, jusqu'à ce qu'il trouve exactement la même régression que vous avez exécutée . Devriez-vous faire deux déductions différentes? Les preuves sont-elles les mêmes pour les deux cas ou non? Devriez-vous modifier votre inférence si vous connaissiez les résultats des autres chercheurs? Comment le public devrait-il évaluer les preuves des deux études?
PS 2: veuillez essayer d'être précis et de fournir une justification mathématique / théorique, si possible!
la source
Réponses:
Voici mon biais "bayésien" sur votre question. Je pense que vous avez décrit une situation où deux personnes ayant des informations préalables différentes devraient obtenir une réponse / conclusion différente lorsqu'elles reçoivent le même ensemble de données. Un exemple plus brutal / extrême est supposé que nous avons un "chercheur 1b" qui arrive à deviner les paramètres et les conclusions du modèle de régression à partir de n'importe quelle hypothèse. L'exécution de régressions n'est pas conceptuellement trop éloignée des suppositions.1000
Qu'est-ce que je pense qui se passe ... qu'est-ce que nous apprenons sur les informations préalables des chercheurs de la question ci-dessus? - le chercheur 1 a probablement un a priori plat pour les modèles - le chercheur 2 a un a priori net pour le modèle d'intérêt (supposons que est le modèle auquel ils correspondent tous les deux)P( Mk| je1) = 11000 P( M1| je2) = 1 M1
C'est évidemment une simplification, mais vous pouvez voir ici, nous accordons déjà beaucoup plus de poids aux inférences du chercheur 2 sans aucune donnée. Mais vous voyez, une fois qu'ils auront tous les deux pris en compte les données, la probabilité postérieure du chercheur 1 pour augmentera ... (... nous le savons parce que c'était "mieux "que autres modèles ...). Le postérieur du chercheur 2 ne peut plus se concentrer, il est déjà égal à . Ce que nous ne savons pas, c'est combien les données ont pris en charge rapport aux alternatives. Ce que nous ne savons pas non plus, c'est comment les différents modèles modifient les conclusions de fond du chercheur 1. Par exemple, supposons que les P ( M 1 | D I ) > > P ( M 1 | I ) 999 1 M 1 1000M1 P( M1| DI) > > P( M1| je) 999 1 M1 1000 les modèles contiennent un terme commun, et tous les paramètres de régression pour cette variable sont significativement supérieurs à (par exemple, la pour tous les modèles). Il n'y a alors aucun problème à conclure à un effet significativement positif, même si de nombreux modèles étaient adaptés.1000 0 p - v a l u e < 10- 8
Vous ne dites pas non plus la taille de l'ensemble de données, et c'est important! Si vous parlez d'un ensemble de données avec observations et covariables / prédicteurs / variables indépendantes, le chercheur 1 sera probablement encore assez incertain sur le modèle. Cependant, si le chercheur 1 utilise observations, cela peut déterminer de manière concluante le modèle.10 2 , 000 , 000100 10 2,000,000
Il n'y a rien de fondamentalement mauvais avec deux personnes qui commencent avec des informations différentes et continuent d'avoir des conclusions différentes après avoir vu les mêmes données. Cependant ... voir les mêmes données les rapprochera, à condition que leur "espace modèle" se chevauche et que les données prennent en charge cette "région de chevauchement".
la source
L'interprétation statistique est beaucoup moins claire que ce que vous demandez, le traitement mathématique.
Les mathématiques concernent des problèmes clairement définis. Par exemple, lancer un dé parfait ou tirer des boules dans une urne.
Les statistiques sont des mathématiques appliquées où les mathématiques fournissent une ligne directrice mais ne sont pas la solution (exacte).
Dans ce cas, il est évident que les circonstances jouent un rôle important. Si nous effectuons une régression et calculons ensuite (mathématiques) une valeur de p pour exprimer la force, alors quelle est l'interprétation (statistiques) et la valeur de la valeur de p?
Dans le cas des 1000 régressions effectuées par le chercheur 1, le résultat est beaucoup plus faible car ce type de situation se produit lorsque nous n'avons pas vraiment d'indice et que nous explorons simplement les données. La valeur p est juste une indication qu'il peut y avoir quelque chose.
Ainsi, la valeur de p vaut évidemment moins dans la régression effectuée par le chercheur 1. Et si le chercheur 1 ou quelqu'un utilisant les résultats du chercheur 1 souhaite faire quelque chose avec la régression, alors la valeur de p doit être corrigée. (et si vous pensiez que la différence entre le chercheur 1 et le chercheur 2 n'était pas suffisante, pensez à la multitude de façons dont le chercheur 1 peut corriger la valeur de p pour des comparaisons multiples)
Dans le cas de la régression unique effectuée par le chercheur 2, le résultat est une preuve beaucoup plus forte. Mais c'est parce que la régression n'est pas autonome. Nous devons inclure les raisons pour lesquelles le chercheur 2 n'a effectué qu'une seule régression. Cela pourrait être dû au fait qu'il avait de bonnes raisons (supplémentaires) de croire déjà que la régression unique est un bon modèle pour les données.
Le réglage des régressions effectuées par les chercheurs 1 et 2 est très différent, et il n'est pas fréquent que vous rencontriez les deux en même temps pour le même problème. Si tel est le cas, alors soit
chercheur 2 a été très chanceux
Ce n'est pas si rare, et nous devrions mieux corriger cela lors de l'interprétation de la littérature, ainsi que nous devrions améliorer la publication de l'image globale de la recherche. S'il y a un millier de chercheurs comme le chercheur 2, et que nous ne verrons qu'un seul publier un succès, alors parce que nous n'avons pas vu les échecs des 999 autres chercheurs, nous pouvons croire à tort que nous n'avons pas de cas comme le chercheur 1
Le chercheur 1 n'était pas si intelligent et a fait une recherche incroyablement superflue pour une régression alors qu'il aurait peut-être su dès le début que cela aurait dû être unique, et il aurait pu effectuer un test plus fort.
Pour les étrangers qui sont plus intelligents que le chercheur 1 (ne se soucient pas des 999 régressions supplémentaires depuis le début) et lisent sur le travail, ils pourraient donner plus de force à la signification des résultats, mais toujours pas aussi fort qu'il le ferait pour le résultat du chercheur 2.
Bien que le chercheur 1 ait pu être trop conservateur lors de la correction de 999 régressions supplémentaires superflues, nous ne pouvons pas ignorer le fait que la recherche a été effectuée dans un vide de connaissances et il est beaucoup plus probable de trouver un chercheur chanceux du type 1 que du type 2.
Une histoire connexe intéressante: en astronomie, alors qu'ils planifiaient un meilleur instrument pour mesurer le fond cosmique avec une plus grande précision, des chercheurs ont soutenu qu'ils ne publiaient que la moitié des données. Cela parce qu'il n'y a qu'un seul coup pour collecter des données. Une fois que toutes les régressions ont été effectuées par des dizaines de chercheurs différents (et en raison de la variation et de la créativité incroyables du théoricien, il y a certainement une certaine adéquation à chaque bosse possible, aléatoire et aléatoire dans les données), il n'y a aucune possibilité d'effectuer une nouvelle expérience à vérifier (c'est-à-dire, sauf si vous êtes capable de générer un tout nouvel univers).
la source
Petite histoire: nous n'avons pas assez d'informations pour répondre à votre question car nous ne savons rien des méthodes utilisées ou des données collectées.
Réponse longue ... La vraie question ici est de savoir si chaque chercheur fait:
Leurs méthodes détermineront la force de l'interprétation de leurs résultats. En effet, certaines méthodes sont moins saines que d'autres.
Dans une science rigoureuse, nous développons une hypothèse, identifions les variables confusionnelles, développons des contrôles pour les variables en dehors de notre hypothèse, planifions des méthodes de test, planifions notre méthodologie analytique, effectuons des tests / collectons des données, puis analysons les données. (Notez que les méthodes analytiques sont prévues avant le test). C'est le plus rigoureux car il faut accepter des données et des analyses qui ne sont pas d'accord avec l'hypothèse. Il n'est pas acceptable de changer de méthode après coup pour obtenir quelque chose d'intéressant. Toute nouvelle hypothèse issue des résultats doit à nouveau suivre le même processus.
En pseudoscience, nous prenons souvent des données déjà collectées. Ceci est plus difficile à utiliser sur le plan éthique car il est plus facile d'ajouter des biais aux résultats. Cependant, il est toujours possible de suivre la méthode scientifique pour les analystes éthiques. Il peut cependant être difficile de mettre en place des contrôles appropriés et cela doit être recherché et noté.
L'exploration des données n'est pas basée sur la science. Il n'y a pas d'hypothèse spécifique. Il n'y a pas d'évaluation a priori des facteurs de confusion. De plus, il est difficile de revenir en arrière et de refaire l'analyse en utilisant les mêmes données, car les résultats peuvent être entachés par des connaissances ou une modélisation antérieures et il n'y a pas de nouvelles données à utiliser pour la validation. Une expérience scientifique rigoureuse est recommandée pour clarifier les relations possibles trouvées à partir de l'analyse exploratoire.
Le dragage de données ou le piratage informatique est l'endroit où un «analyste» effectue plusieurs tests dans l'espoir d'une réponse inattendue ou inconnue ou manipule les données pour obtenir un résultat. Les résultats peuvent être une simple coïncidence, peuvent être le résultat de variables confondantes, ou peuvent ne pas avoir d'effet ou de puissance significatif.
Il existe des remèdes pour chaque problème, mais ces remèdes doivent être soigneusement évalués.
la source