Exagérons-nous l’importance des hypothèses et de l’évaluation des modèles à une époque où les analyses sont souvent effectuées par des non-spécialistes?

54

En bout de ligne , plus j'en apprends sur les statistiques, moins je me fie aux articles publiés dans mon domaine; Je crois simplement que les chercheurs ne font pas assez bien leurs statistiques.


Je suis un profane, pour ainsi dire. J'ai une formation en biologie mais je n'ai aucune formation formelle en statistique ou en mathématiques. J'apprécie R et fais souvent un effort pour lire (et comprendre ...) certains des fondements théoriques des méthodes que j'applique lors de mes recherches. Cela ne me surprendrait pas si la majorité des personnes qui effectuent des analyses aujourd'hui ne sont pas formellement formées. J'ai publié environ 20 articles originaux, dont certains ont été acceptés par des revues reconnues et des statisticiens ont souvent participé au processus de révision. Mes analyses incluent généralement l'analyse de survie, la régression linéaire, la régression logistique et les modèles mixtes. Jamais un critique n’a posé de questions sur les hypothèses, l’adéquation ou l’évaluation du modèle.

Ainsi, je ne me suis jamais vraiment préoccupé des hypothèses, de l’adéquation et de l’évaluation des modèles. Je commence par une hypothèse, exécute la régression puis présente les résultats. Dans certains cas, j'ai fait un effort pour évaluer ces choses, mais je me suis toujours retrouvé avec " bien, cela ne remplissait pas toutes les hypothèses, mais je me fie aux résultats (" connaissance de la matière ") et ils sont plausibles, donc ça va. " quand ils consultaient un statisticien, ils semblaient toujours être d'accord.

Maintenant, j'ai parlé à d'autres statisticiens et non statisticiens (chimistes, médecins et biologistes) qui effectuent eux-mêmes des analyses; il semble que les gens ne se préoccupent pas vraiment de toutes ces hypothèses et évaluations formelles. Mais ici, sur CV, il y a une abondance de personnes qui se posent des questions sur les résidus, l'ajustement du modèle, les moyens de l'évaluer, les valeurs propres, les vecteurs, etc. Permettez-moi de le dire ainsi, lorsque lme4 met en garde sur de grandes valeurs propres, je doute vraiment que beaucoup de ses utilisateurs se soucient de résoudre ce problème ...

Vaut-il l'effort supplémentaire? N'est-il pas probable que la majorité de tous les résultats publiés ne respectent pas ces hypothèses et ne les ont peut-être même pas évaluées? Il s’agit probablement d’un problème croissant, car les bases de données grossissent de jour en jour et il est admis que plus les données sont volumineuses, moins les hypothèses et les évaluations sont importantes.

Je peux me tromper, mais c’est ainsi que j’ai perçu cela.

Mise à jour: Citation empruntée à StasK (ci-dessous): http://www.nature.com/news/science-joins-push-to-screen-statistics-in-papers-1.15509

Adam Robinsson
la source
34
Je tiens à avertir que la fermeture de cette question constituerait une occasion importante de discuter de la manière dont les statistiques sont utilisées dans le "monde réel" en dehors des murs des départements de statistiques. CV est l’un des rares endroits où les statisticiens et les statisticiens se rencontrent, et le maintien des voies de communication ouvertes est une mission importante, même implicite, de CV. Je suis entièrement d'accord avec ceux qui ont cliqué sur "fermer" car c'est très large et basé sur des opinions, mais j'espère quand même que nous pourrons garder cette discussion.
StasK
5
Le fait que beaucoup de publications, de chercheurs ou même de domaines entiers traitent de façon indirecte de suppositions suggère-t-il que nous ne nous en soucions pas assez ? Il est également possible que les statisticiens et les manuels exagèrent leur importance, mais leur popularité auprès des pratiquants et des laïcs ne peut certainement pas en servir de critère. De plus, les conventions et les normes varient un peu. Certaines disciplines s’intéressent probablement plus à ce sujet que celles que vous connaissez bien, alors que d’autres ne se soucient probablement pas beaucoup de choses qui sont très importantes pour la publication dans votre domaine.
Gala
6
Ayant rédigé un commentaire critiquant une étude antérieure dans laquelle les hypothèses du modèle avaient été sciemment violées et où des conclusions erronées avaient été tirées, je vous conseillerais de ne pas faire confiance aux résultats et de vous critiquer au maximum.
Dikran Marsupial
7
"Plus les données sont volumineuses, moins les hypothèses sont importantes" ne tient pas à la croissance réelle des données: ce qui augmente, ce sont (principalement) le nombre d'observations / caractéristiques dépendantes dues aux progrès des techniques de mesure. En revanche, le nombre d'observations indépendantes, à savoir des unités expérimentales ou des probands, reste plutôt limité (car les populations n'augmentent pas avec les progrès techniques ...). Malheureusement, seule l’indépendance du Big Data rend les hypothèses (souvent, pas toujours) moins importantes en raison du théorème de la limite centrale.
Horst Grünbusch
3
@AdamRobinsson: J'aime la conclusion que vous avez affichée en haut de votre question. Je me méfierais encore plus des articles publiés par de grands noms ou soutenus par de grandes institutions. Quand je vois des articles avec 15 auteurs chevronnés d'institutions respectées dans des revues de premier plan, mon premier réflexe est en fait de l'examiner encore plus , car il est possible que l'article ait été publié en raison de l'influence des auteurs / institutions. Ces documents ont également tendance à avoir des implications politiques de grande portée. Un exemple de mon domaine (santé publique) a été la circoncision masculine pour des études de prévention du VIH (suite)
Marquis de Carabas

Réponses:

26

J'ai une formation de statisticien et non de biologiste ou de médecin. Mais je fais pas mal de recherches médicales (en travaillant avec des biologistes et des médecins), dans le cadre de mes recherches, j'ai beaucoup appris sur le traitement de différentes maladies. Cela signifie-t-il que si un ami me demande une maladie au sujet de laquelle j'ai effectué des recherches, je ne peux que lui rédiger une ordonnance pour un médicament que je connais couramment utilisé pour traiter cette maladie? Si je devais le faire (ce n'est pas le cas), dans de nombreux cas, cela fonctionnerait probablement bien (puisqu'un médecin aurait simplement prescrit le même médicament), mais il est toujours possible qu'ils aient une allergie / un médicament. interaction / autre sur laquelle un médecin saurait demander, que je ne fais pas et que je finis par causer plus de tort que de bien.

Si vous faites des statistiques sans comprendre ce que vous supposez et ce qui pourrait mal tourner (ou si vous consultez un statisticien tout au long du chemin qui recherchera ces choses-là), vous vous livrez à des pratiques statistiques abusives. La plupart du temps, ce sera probablement OK, mais qu'en est-il de l’occasion où une hypothèse importante ne tient pas, mais vous l’ignorez?

Je travaille avec des médecins qui sont raisonnablement compétents sur le plan statistique et qui peuvent effectuer une grande partie de leur propre analyse, mais ils vont tout de même me dépasser. Souvent, je confirme qu’ils ont bien agi et qu’ils peuvent effectuer l’analyse eux-mêmes (et ils sont généralement reconnaissants de la confirmation), mais parfois, ils agissent de manière plus complexe et lorsque je leur propose une meilleure approche, ils renversent généralement l’analyse. à moi ou mon équipe, ou du moins m'amener pour un rôle plus actif.

Donc, ma réponse à votre question de titre est "Non", nous n'exagérons pas. Nous devrions plutôt insister davantage sur certaines choses afin que les non-spécialistes soient plus susceptibles de vérifier au moins leurs procédures / résultats avec un statisticien.

Modifier

Ceci est un ajout basé sur le commentaire d'Adam ci-dessous (sera un peu long pour un autre commentaire).

Adam, merci pour votre commentaire. La réponse courte est "je ne sais pas". Je pense que des progrès ont été réalisés dans l'amélioration de la qualité statistique des articles, mais les choses ont évolué si rapidement de nombreuses façons différentes qu'il faudra un certain temps pour rattraper et garantir la qualité. Une partie de la solution consiste à se concentrer sur les hypothèses et les conséquences des violations dans les cours d'introduction aux statistiques. Cela est plus susceptible de se produire lorsque les cours sont dispensés par des statisticiens, mais doit se produire dans tous les cours.

Certaines revues vont mieux, mais j'aimerais qu'un critique statisticien devienne la norme. Un article paru il y a quelques années (désolé, la référence n'est pas disponible, mais c'était dans JAMA ou dans le New England Journal of Medicine) qui montrait une probabilité plus élevée d'être publié (bien que la différence ne soit pas aussi grande qu'elle devrait l'être). être) à JAMA ou NEJM si un biostatisticien ou un épidémiologiste était l’un des coauteurs.

Un article intéressant récemment paru est le suivant: http://www.nature.com/news/statistics-p-values-are-just-the-tip-of-the-iceberg-1.17412, qui traite de certaines des mêmes questions.

Greg Snow
la source
1
Je partage votre point de vue, Greg. Je pense que votre réponse l'explique clairement. Mais je voudrais vous citer: "[...] alors vous vous livrez à des pratiques statistiques abusives. La plupart du temps, ce sera probablement OK". Il y a un risque que cette notion se propage et que les gens la perçoivent comme suit: n'importe qui peut faire des statistiques (ce qui est fondamentalement faux si vous me demandez, qui a un peu gratté à la surface des statistiques). La question qui se pose est de savoir comment garantir que les travaux publiés sont corrects en termes d’analyses statistiques. Parce que je commence à me demander combien d'articles ne sont pas
passés par
@AdamRobinsson, voir mon ajout ci-dessus.
Greg Snow
C'est plutôt élitiste. Je conviens que les statisticiens professionnels pourraient avoir la compétence et l’expertise pour effectuer des analyses statistiques, mais aussi les scientifiques. En effet, certaines des avancées révolutionnaires dans les statistiques sont venues de scientifiques (par exemple Fisher & Jeffrey) pratiquant des statistiques dans le monde réel.
Innisfree
Il est également étrange de dire que ce qui constitue une faute professionnelle statistique dépend non seulement de la qualité ou des résultats de l'analyse statistique, mais également de jugements subjectifs quant à la force de la compréhension
qu'ont
@innisfree, je ne comprends pas vos commentaires, ou peut-être que vous ne comprenez pas ma position. Je ne dis pas que seuls les statisticiens peuvent examiner les hypothèses / conditions, mais simplement qu'elles sont importantes et qu'un statisticien devrait être consulté ou qu'un scientifique non statisticien devrait apprendre suffisamment de statistiques pour comprendre les problèmes au-delà de la simple analyse des chiffres. dans une formule / ordinateur. Personnellement, j'aimerais voir beaucoup plus de statistiques sur les mineurs avec une expertise en médecine / ingénierie / etc., mais aussi sur une meilleure compréhension des idées qui sous-tendent les statistiques.
Greg Snow
28

Eh bien, oui, les hypothèses importent - si elles ne comptaient pas du tout, nous n'aurions pas besoin de les formuler, n'est-ce pas?

La question est de savoir quelle importance ils revêtent (cela varie selon les procédures et les hypothèses et ce que vous voulez affirmer à propos de vos résultats (et aussi dans quelle mesure votre auditoire est tolérant, voire même inexact, dans de telles affirmations).

Donc, pour un exemple de situation dans laquelle une hypothèse est critique, considérons l'hypothèse de normalité dans un test F de variance; des modifications même modestes de la distribution peuvent avoir des effets assez dramatiques sur les propriétés (niveau de signification et puissance réels) de la procédure. Si vous prétendez effectuer un test au niveau de 5% alors qu'il est vraiment au niveau de 28%, vous faites en quelque sorte le même genre de mensonge sur la façon dont vous avez mené vos expériences. Si vous estimez que de tels problèmes statistiques ne sont pas importants, développez des arguments qui ne les utilisent pas. D'un autre côté, si vous souhaitez utiliser les informations statistiques comme support, vous ne pouvez pas vous tromper sur cette représentation.

Dans d'autres cas, certaines hypothèses peuvent être beaucoup moins critiques. Si vous estimez le coefficient dans une régression linéaire et que vous ne vous souciez pas de savoir s'il est statistiquement significatif et que vous ne vous souciez pas de l'efficacité, eh bien, peu importe si l'hypothèse d'homoscédasticité tient. Mais si vous voulez dire que c'est statistiquement significatif, ou montrer un intervalle de confiance, oui, cela peut certainement avoir de l'importance.

Glen_b
la source
2
Le commentaire de Glen_b est bien dit de l'approche statistique sur l'importance des hypothèses. Je pense qu’il convient également de noter cependant que, pour les besoins de la publication, la vérification des hypothèses est une question légèrement différente, en ce sens que la violation des hypothèses n’importe autant que les relecteurs ou les éditeurs les tiennent à cœur. À titre d’exemple, la théorie derrière le résultat peut fournir un mérite suffisant pour la publication, l’espoir étant que les problèmes liés à l’analyse puissent être résolus par de futures publications.
Jonathan Lisic
Bien, même si les relecteurs vérifient le document, la responsabilité des erreurs reste la responsabilité des auteurs. Donc, dans votre propre intérêt, vous devriez vérifier ...
kjetil b halvorsen
En effet, la responsabilité restera toujours avec les auteurs. Mais de nos jours, les auteurs sont poussés par des pilotes inappropriés qui les obligent à publier, pas rarement de manière rapide et sale. J'aimerais voir un processus de révision qui impose la déclaration des hypothèses statistiques les plus critiques. Aujourd'hui, on prend pour acquis que l'analyse statistique a été effectuée conformément au livre, mais cela est selon moi plus rare que commun.
Adam Robinsson
3
+1 "La question est de savoir combien ils comptent" - cela résume l'essentiel du problème. Je devrais également souligner que l'application de l'inférence statistique ne permet pas de savoir dans quelle mesure certaines hypothèses statistiques sont violées. Nous ne pouvons postuler ou considérer la robustesse de l'analyse que si c'est le cas, et c'est un aspect essentiel mais souvent négligé de la pratique statistique.
heropup
18

Glen_b a donné une excellente réponse , mais j'aimerais ajouter quelques centimes à cela.

Une des considérations est de savoir si vous voulez vraiment obtenir la vérité scientifique, ce qui nécessiterait de peaufiner vos résultats et de déterminer tous les détails pour savoir si votre approche est défendable, par opposition à la publication dans le «euh, personne ne vérifie de toute façon ces valeurs propres dans ma discipline». mode. En d'autres termes, vous devrez demander à votre conscience professionnelle intérieure si vous faites le meilleur travail possible. Faire référence à la faible culture statistique et aux pratiques statistiques laxistes dans votre discipline ne constitue pas un argument convaincant. Les réviseurs sont souvent au mieux utiles s'ils proviennent de la même discipline avec ces normes laxistes, bien que certains des principaux points de vente aient des initiatives explicites pour intégrer une expertise statistique dans le processus de révision.

Mais même si vous êtes un tricheur de salami cynique "publier-ou-périr", l'autre considération est fondamentalement la sécurité de votre réputation de recherche. Si votre modèle échoue et que vous ne le savez pas, vous vous exposez au risque de réfutation de la part de ceux qui peuvent venir et enfoncer la hache dans les maquettes des vérifications de modèle avec des instruments plus raffinés. Certes, cette possibilité semble être faible, car la communauté scientifique, malgré les exigences philosophiques nominales en matière de réputation et de reproductibilité, tente rarement de reproduire les recherches de quelqu'un d'autre. (J'ai été impliqué dans la rédaction de deux articles qui ont commencé par "Oh mon Dieu, ont-ils vraimentécrire that? ", et a proposé une critique et un raffinement d'une approche semi-statistique publiée et révisée par des pairs.) Cependant, les échecs des analyses statistiques, lorsqu'ils sont exposés , produisent souvent des éclaboussures importantes et désagréables.

StasK
la source
J'aime beaucoup l'approche: la conscience professionnelle, et je crois que beaucoup ont une conscience mais manquent encore de connaissances; mais cela ne les empêchera pas de présenter les données comme si elles étaient parfaitement préparées. Il est intéressant de noter que vous citez un article de Science qui le dit clairement: "[...] la crainte généralisée que des erreurs fondamentales dans l'analyse des données contribuent à l'irreproductibilité de nombreux résultats de recherche publiés". Je pense vraiment que nous, profanes, nous ne respectons pas vraiment la difficulté des méthodes statistiques et que cela devrait être un problème croissant, comme expliqué ci-dessus.
Adam Robinsson
1
Dans mon groupe de recherche actuel, nous sommes 15 chercheurs (biologistes, médecins) et certains d'entre eux sont vraiment productifs, mais aucun n'est statisticien. Tous les chercheurs débutants ont installé R ou SAS et effectuent des calculs, généralement après avoir lu quelques tutoriels sur Internet. C'est un gros problème.
Adam Robinsson
4
@AdamRobinsson, le simple fait que vous demandiez à ce sujet sur CV parle de votre conscience. Un autre lien Nature que vous pouvez parcourir, sur une question un peu connexe du calcul scientifique (et le manque de mise en œuvre des meilleures pratiques de développement logiciel par des scientifiques écrivant leur propre code C / Fortran / R) - nature.com/news/2010 /101013/full/467775a.html .
StasK
3
étant donné que la communauté scientifique, malgré les exigences philosophiques nominales en matière de réputation et de reproductibilité, tente rarement de reproduire les recherches de quelqu'un d'autre, je suis tout à fait d'accord avec cette affirmation.
Robert Smith
software-carpentry.org , "une organisation bénévole à but non lucratif dédiée à l'enseignement des compétences informatiques de base aux chercheurs", propose de très bons tutoriels et séminaires.
denis
9

La nature des violations des hypothèses peut constituer un indice important pour les recherches futures. Par exemple, une violation de l'hypothèse des dangers proportionnels dans l'analyse de la survie de Cox pourrait être due à une variable ayant un effet important sur la survie à court terme mais peu d'effet à long terme. C'est le type d'informations inattendues mais potentiellement importantes que vous pouvez obtenir en examinant la validité de vos hypothèses dans un test statistique.

Vous faites donc vous-même, et pas seulement la littérature, un mauvais service si vous ne testez pas les hypothèses sous-jacentes. À mesure que les revues de haute qualité commencent à nécessiter une révision statistique plus sophistiquée, vous serez appelé plus fréquemment à le faire. Vous ne voulez pas être dans une position où un test requis par un réviseur de statistiques sape ce que vous pensiez avoir été un élément clé de votre document.

EdM
la source
Je suis tout à fait d'accord avec ce commentaire qui, à mon avis, est très important.
Adam Robinsson
9

Je vais répondre d'un point de vue intermédiaire. Je ne suis pas un statisticien, je suis un chimiste. Cependant, j'ai passé les 10 dernières années à me spécialiser en chimiométrie = analyse de données statistiques pour les données liées à la chimie.

Je crois simplement que les chercheurs ne font pas assez bien leurs statistiques.

C'est probablement le cas.


Version courte:

Parlons maintenant des hypothèses. IMHO, la situation ici est beaucoup trop hétérogène pour la traiter en une seule déclaration. Comprendre à la fois la raison pour laquelle l'hypothèse est nécessaire et la manière dont l'application est susceptible de la violer est nécessaire afin de déterminer si la violation est inoffensive ou critique. Et cela nécessite à la fois les statistiques et les connaissances de l'application.
En tant que pratiquant faisant face à des suppositions irréalisables, cependant, j'ai besoin de quelque chose d'autre: j'aimerais avoir une "deuxième ligne de défense" qui me permet par exemple de juger si la violation cause réellement des problèmes ou si elle est inoffensive.


Version longue:

  • D'un point de vue pratique, certaines hypothèses typiques ne sont presque jamais satisfaites. Parfois, je peux formuler des hypothèses raisonnables sur les données, mais souvent, les problèmes deviennent si compliqués d'un point de vue statistique que les solutions ne sont pas encore connues. A présent, je pense que faire de la science signifie que vous allez frapper les frontières de ce que vous savez, probablement non seulement dans votre discipline, mais peut-être aussi dans d'autres disciplines (ici: statistiques appliquées).

  • Il est également connu que certaines violations sont généralement inoffensives - par exemple, la normalité multivariée avec covariance égale pour LDA est nécessaire pour montrer que LDA est optimale, mais il est bien connu que la projection suit une heuristique qui fonctionne souvent même si le l'hypothèse n'est pas remplie. Et quelles violations sont susceptibles de causer des problèmes: Il est également connu que de lourdes queues dans la distribution entraînent des problèmes avec LDA dans la pratique.
    Malheureusement, une telle connaissance fait rarement partie de l'écriture condensée d'un article. Le lecteur n'a donc aucune idée si les auteurs ont choisi leur modèle après avoir bien examiné les propriétés de l'application ainsi que du modèle ou s'ils ont simplement choisi un modèle. ils sont venus à travers.

  • Parfois, des approches pratiques (heuristiques) évoluent, qui s'avèrent très utiles d'un point de vue pratique, même s'il faut des décennies pour que leurs propriétés statistiques soient bien comprises (je pense à PLS).

  • L'autre chose qui se produit (et devrait se produire davantage) est que les conséquences possibles de la violation peuvent être surveillées (mesurées), ce qui permet de décider s'il y a un problème ou non. Pour l’application, je ne me soucie peut-être pas de savoir si mon modèle est optimal tant qu’il est suffisamment bon.
    En chimiométrie, nous nous concentrons plutôt sur la prédiction. Et ceci offre une très bonne issue au cas où les hypothèses de modélisation ne seraient pas respectées: quelles que soient ces hypothèses, nous pouvons mesurer si le modèle fonctionne correctement. Du point de vue des praticiens, je dirais que vous êtes autorisé à faire ce que vous voulez pendant votre modélisation et à rapporter une validation honnête et à la pointe de la technologie.
    Pour l'analyse chimiométrique des données spectroscopiques, nous ne sommes pas attentifs aux résidus car nous savons que les modèles sont facilement sur-ajustés. Au lieu de cela, nous examinons les performances des données de test (et éventuellement la différence par rapport aux performances d'apprentissage des données d'apprentissage).

  • Il existe d'autres situations dans lesquelles nous ne sommes pas en mesure de prédire avec précision le nombre de violations qui aboutissent à une rupture du modèle, mais nous sommes en mesure de mesurer les conséquences de violations graves de l'hypothèse plutôt directement.
    Exemple suivant: les données de l’étude que je traite habituellement sont des ordres de grandeur inférieurs à la taille de l’échantillon que les règles empiriques recommandent pour les cas par variable (afin de garantir des estimations stables). Mais les livres de statistiques ne se soucient généralement pas beaucoup de savoir quoi faire en pratique si cette hypothèse ne peut être satisfaite. Ni comment mesurer si vous êtes réellement en difficulté à cet égard. Mais: ces questions sont traitées dans les disciplines les plus appliquées. Il s’avère qu’il est souvent assez facile de mesurer directement la stabilité du modèle ou du moins de savoir si vos prévisions sont instables (à lire ici dans le CV sur la validation du ré-échantillonnage et la stabilité du modèle). Et il existe des moyens de stabiliser les modèles instables (par exemple, l'ensachage).

  • En tant qu'exemple de "2e ligne de défense", envisagez la validation du rééchantillonnage. L’hypothèse habituelle et la plus solide est que tous les modèles de substitution sont équivalents à un modèle formé sur l’ensemble des données. Si cette hypothèse est violée, nous obtenons le biais pessimiste bien connu. La deuxième ligne est qu'au moins les modèles de substitution sont équivalents, nous pouvons donc mettre en commun les résultats du test.


Last but not least, je voudrais encourager les « scientifiques » des clients et les statisticiens de parler plus les uns aux autres . L'analyse de données statistiques IMHO n'est pas quelque chose qui peut être fait à sens unique. À un moment donné, chaque partie devra acquérir des connaissances de l'autre côté. J'aide parfois à "traduire" entre statisticiens, chimistes et biologistes. Un statisticien peut savoir que le modèle doit être régularisé. Mais pour choisir, par exemple, entre LASSO et une crête, ils doivent connaître les propriétés des données que seuls le chimiste, le physicien ou le biologiste peuvent connaître.

cbeleites soutient Monica
la source
6

Étant donné que le CV est composé de statisticiens et de personnes qui sont curieuses, sinon compétentes, en matière de statistiques, je ne suis pas surprise de toutes les réponses qui soulignent la nécessité de comprendre les hypothèses. Je suis également d'accord avec ces réponses en principe.

Cependant, compte tenu de la pression exercée en faveur de la publication et du faible niveau actuel d'intégrité statistique, je dois dire que ces réponses sont assez naïves. Nous pouvons dire aux gens ce qu’ils doivent faire tout au long de la journée (c’est-à-dire vérifier votre hypothèse), mais ce qu’ils vont faire dépend uniquement des incitations institutionnelles. Le PO lui-même déclare qu'il parvient à publier 20 articles sans comprendre les hypothèses du modèle. Compte tenu de ma propre expérience, je ne trouve pas cela difficile à croire.

Ainsi, je veux me faire l'avocat du diable en répondant directement à la question de OP. Ce n'est en aucun cas une réponse qui favorise les "bonnes pratiques", mais c'est une réponse qui reflète la façon dont les choses sont pratiquées avec un soupçon de satire.

Vaut-il l'effort supplémentaire?

Non, si l'objectif est de publier, cela ne vaut pas la peine de passer tout le temps à comprendre le modèle. Il suffit de suivre le modèle répandu dans la littérature. De cette façon, 1) votre article passera plus facilement les critiques et 2) le risque d’être exposé à une "incompétence statistique" est faible, car vous exposer signifie exposer tout le domaine, y compris de nombreuses personnes âgées.

N'est-il pas probable que la majorité de tous les résultats publiés ne respectent pas ces hypothèses et ne les ont peut-être même pas évaluées? Il s’agit probablement d’un problème croissant, car les bases de données grossissent de jour en jour et il est admis que plus les données sont volumineuses, moins les hypothèses et les évaluations sont importantes.

Oui, il est probable que la plupart des résultats publiés ne sont pas vrais. Plus je suis impliqué dans la recherche réelle, plus je pense que cela est probable.

Heisenberg
la source
1
Je pense que vous avez de très bons points qui ne sont pas mentionnés ci-dessus; à savoir la pression pour publier et la pression de la revue pour trouver des articles pour remplir la revue. C'est un cauchemar pour les éditeurs de ne pas avoir d'articles à publier, et les chercheurs doivent publier pour leur simple existence. Cependant, d’un point de vue méthodologique, plus je m’implique dans la recherche, plus j’estime que la plupart des résultats publiés sont faux / moins corrects / imparfaits à des degrés divers (d’un point de vue statistique).
Adam Robinsson
4

La réponse courte est non." Les méthodes statistiques ont été développées selon des ensembles d’hypothèses à respecter pour la validité des résultats. Il va donc de soi que si les hypothèses n'étaient pas remplies, les résultats pourraient ne pas être valables. Bien sûr, certaines estimations peuvent rester robustes malgré des violations des hypothèses du modèle. Par exemple, le logit multinomial semble bien fonctionner malgré les violations de l'hypothèse de l'IIA (voir la thèse de Kropko [2011] dans la référence ci-dessous).

En tant que scientifiques, nous avons l'obligation de nous assurer que les résultats que nous avons publiés sont valables, même si les personnes sur le terrain ne se soucient pas de savoir si les hypothèses ont été respectées. En effet, la science repose sur l’hypothèse voulant que les scientifiques agissent de la bonne manière dans leur quête des faits. Nous faisons confiance à nos collègues pour vérifier leur travail avant de l'envoyer aux journaux. Nous faisons confiance aux examinateurs pour examiner avec compétence un manuscrit avant qu’il ne soit publié. Nous assumonsque les chercheurs et les arbitres sachent ce qu’ils font, pour pouvoir faire confiance aux résultats des articles publiés dans des revues à comité de lecture. Nous savons que ce n’est pas toujours vrai dans le monde réel, à cause de la pléthore d’articles de la littérature dans lesquels vous finissez par secouer la tête et rouler des yeux devant les résultats bien choisis dans des revues respectables (" Jama a publié cet article ?! ").

Donc non, l'importance ne peut pas être surestimée, d'autant plus que les gens vous font confiance - l'expert - pour avoir fait preuve de diligence raisonnable. Le moins que vous puissiez faire est de parler de ces violations dans la section "limitations" de votre document pour aider les gens à interpréter la validité de vos résultats.

Référence

Kropko, J. 2011. De nouvelles approches de choix discret et série chronologique Cross-Section Méthodologie de la recherche politique (thèse de doctorat). UNC-Chapel Hill, Chapel Hill, Caroline du Nord.

Marquis de carabas
la source
Je suis d'accord avec ces précieux commentaires. Mais ne pensez-vous pas que le "peut" dans "peut ne pas être invalide" est la raison pour laquelle les gens pourraient ne pas trop s'en soucier. Je pense que la simple existence d'une hypothèse peut induire un biais d'analyse pertinent pour cette question.
Adam Robinsson
TIL Kropko est un utilisateur de CV.
Rétablir Monica
@AdamRobinsson, je pense que les gens ne s'embarrassent pas avec eux parce qu'ils ne comprennent pas vraiment comment ou pourquoi les résultats peuvent être invalides. Une grande partie du problème réside dans l’enseignement de la statistique dans un domaine "appliqué". Ma propre formation est dans un domaine appliqué. Mes cours d'économétrie-lite ne prétendaient pas être des cours d'économétrie complets et s'appelaient «méthodes de recherche avancées» ou quelque chose du genre. En l'absence de conditions statistiques préalables, les profs passeraient sous silence les hypothèses du modèle et préféreront consacrer plus de temps aux commandes Stata et à l'interprétation des résultats.
Marquis de Carabas
@AdamRobinsson, La première fois que j'étais dans un programme d'études supérieures, c'était aussi pour un domaine appliqué, mais les cours étaient donnés par des biostatisticiens. Les biostatisticiens ont beaucoup appris sur les hypothèses de modèle et les diverses vérifications que nous sommes censés effectuer, car certains des étudiants de la classe étaient des étudiants en biostatistique. Cependant, il était clair que le reste des étudiants qui étaient dans ces classes ne comprenaient pas pourquoi nous vérifiions ces hypothèses, car les profs ne communiquaient pas l'importance dans une langue que les étudiants comprenaient.
Marquis de Carabas
1
@marquisdecarabas, d'accord. Ne pas les comprendre est un problème fondamental, évidemment. Cependant, je me demande parfois si ce n’est pas en raison du temps énorme consacré à la manipulation des données, qui empêche les convoitises d’accepter des hypothèses.
Adam Robinsson
2

Si vous avez besoin de statistiques très avancées, il est fort probable que vos données soient en désordre, ce qui est le cas de la plupart des sciences sociales, sans parler de la psychologie. Dans les domaines où vous avez de bonnes données, vous avez besoin de très peu de statistiques. La physique est un très bon exemple.

Considérons cette citation de Galilée sur sa célèbre expérience d’accélération gravitationnelle:

On a pris un morceau de bois moulé ou en morceaux d'environ 12 coudées de long, un demi-coudé de large et trois doigts de large; sur son bord était creusé un canal d'un peu plus d'un doigt de large; après avoir rendu cette gorge très droite, lisse et polie et l’ayant revêtue de parchemin aussi lisse et poli que possible, nous l’avons roulée en une boule de bronze dure, lisse et très ronde. Après avoir placé cette planche en pente, en soulevant une extrémité d’une ou deux coudées au-dessus de l’autre, nous avons fait rouler la balle, comme je viens de le dire, le long du canal, en notant, d’une manière qui sera décrite plus loin, le temps requis faire la descente. Nous avons répété cette expérience plusieurs fois afin de mesurer le temps avec une précision telle que l'écart entre deux observations ne dépasse jamais le dixième d'un battement de pouls. Après avoir effectué cette opération et s’être assuré de sa fiabilité, nous avons maintenant roulé la balle au quart de la longueur du canal; et après avoir mesuré le temps de sa descente, nous l’avons trouvé exactement la moitié de la première. Nous avons ensuite essayé d’autres distances, comparant le temps de toute la longueur à celui de la moitié, ou à celui des deux tiers, des trois quarts, voire d’une fraction quelconque; dans de telles expériences, répétées cent fois, nous avons toujours constaté que les espaces parcourus se ressemblaient comme des carrés du temps, et cela était vrai pour toutes les inclinaisons du plan, c'est-à-dire du canal, le long desquelles nous roulions Balle. Nous avons également observé que les temps de descente, pour diverses inclinaisons du plan, portaient précisément entre eux ce rapport qui, comme nous le verrons plus loin,

Pour la mesure du temps, nous avons utilisé un grand récipient rempli d’eau; au fond de ce navire, on a soudé un tuyau de petit diamètre donnant un mince jet d’eau que nous avons recueilli dans un petit verre pendant la durée de chaque descente, que ce soit pour toute la longueur du canal ou pour une partie de sa longueur; l'eau ainsi recueillie a été pesée après chaque descente sur une balance très précise; les différences et les ratios de ces poids nous ont donné les différences et les ratios des temps, et ceci avec une précision telle que, bien que l'opération ait été répétée maintes et maintes fois, il n'y avait pas d'écart appréciable dans les résultats .

Notez le texte mis en évidence par moi. C'est ce que de bonnes données sont. Cela vient d'une expérience bien planifiée basée sur une bonne théorie. Vous n'avez pas besoin de statistiques pour extraire ce qui vous intéresse. Il n'y avait pas de statistiques à cette époque, ni d'ordinateurs. Le résultat? Une relation assez fondamentale, qui tient toujours, et peut être testée à la maison par une 6ème niveleuse.

J'ai volé la citation de cette page géniale .

χ2

Aksakal
la source
2
"Dans les domaines où vous avez de bonnes données, vous avez besoin de très peu de statistiques. La physique est un très bon exemple." Je peux comprendre le point, mais il convient de souligner que les physiciens des particules disposent d’une abondance de données et ont mis au point toute une gamme de techniques statistiques avancées pour les analyser.
Poisson d'argent
@ Silverfish, pouvez-vous me donner des exemples de statistiques avancées? Ce que j'ai vu ne m'a pas beaucoup impressionné. Un doctorant en économie moyen connait plus de statistiques qu'un physicien des particules de classe mondiale, à mon avis. Les physiciens sont vraiment doués pour des choses comme la mécanique statistique, mais c'est très différent de ce que nous appelons des "statistiques avancées". Je suis tout à fait d’accord avec vous pour dire que leurs jeux de données sont ahurissants. Ils ont commencé le Big Data avant que "Big Data" ne devienne un mot à la mode agaçant.
Aksakal
1
Ils ont une interprétation assez intéressante de "l'intervalle de confiance", en particulier pour les paramètres qui ne peuvent pas être négatifs, voir par exemple en.wikipedia.org/wiki/CLs_upper_limits_%28particle_physics%29
Silverfish
(Je pense qu'il pourrait être injuste de suivre le premier jour d'un cours d'initiation en tant que représentant de toutes les statistiques dont vous avez besoin pour devenir physicien des particules!)
Silverfish
@Aksakal, ma compréhension personnelle est que les méthodes bayésiennes font des merveilles quand il y a peu d'incertitude de modèle, c'est-à-dire les sciences exactes où les modèles sont ce que l'équation de Schrodinger vous donne, après une intégration de 5 000 dimensions. En économie, l’approche bayésienne ne survivra guère, étant donné que les chercheurs empiriques mettent l’accent sur une inférence robuste aux potentielles erreurs de spécification des modèles majeurs. (Je suis physicien avec un diplôme de premier cycle, bien que je
n’aie
2

Cette question semble être un cas d'intégrité professionnelle.

Le problème semble être le suivant: (a) l’évaluation critique de l’analyse statistique par des profanes n’est pas suffisante ou (b) un cas de notoriété publique est insuffisant pour identifier une erreur statistique (comme une erreur de type 2)?

J'en connais assez sur mon domaine d'expertise pour solliciter la contribution d'experts lorsque je suis à la limite de cette expertise. J'ai vu des gens utiliser des choses comme le test F (et R-squared dans Excel) sans connaissances suffisantes.

D'après mon expérience, les systèmes éducatifs, soucieux de promouvoir les statistiques, ont simplifié à l'excès les outils et minimisé les risques / limites. Est-ce un thème commun que d'autres ont expérimenté et expliqueraient la situation?

MarkR
la source