Stratégies pour introduire des statistiques avancées à divers publics

Je travaille principalement avec des non-statisticiens dans des domaines tels que la médecine, les sciences sociales et l'éducation.

Que je consulte des étudiants diplômés, que j'aide des chercheurs avec des articles ou que je revoie des articles pour des revues, j'ai souvent le problème que quelqu'un (client, auteur, comité de thèse, rédacteur en chef) veuille utiliser une technique relativement bien connue lorsqu'elle est entièrement inappropriées ou lorsqu'il existe des méthodes meilleures mais moins connues. Souvent, j'expliquerai la technique alternative mais on me dira ensuite "tout le monde le fait dans l'autre sens".

J'aimerais savoir comment les autres gèrent ce genre de difficulté.

ADDITIONS

@MichaelChernick a suggéré que je pourrais partager quelques histoires, donc je vais

Actuellement, je travaille avec une personne qui duplique un article précédent et ajoute une variable indépendante pour voir si cela aide. Le document précédent est, franchement, terrible. Il traite les données dépendantes comme si elles étaient indépendantes; il est extrêmement surchargé et il y a aussi d'autres problèmes. Pourtant, il (mon client) a soumis une version antérieure comme dissertation et a non seulement obtenu son diplôme, mais a été largement félicité pour la recherche.

Plusieurs fois, j'ai essayé de convaincre les gens de ne pas dichotomiser les variables. Cela revient très souvent en médecine. Je souligne patiemment que dicohotomiser (disons) un poids de naissance en poids faible et normal (généralement à 2 500 g) signifie traiter un bébé de 2 499 g comme un bébé de 1 400 g; mais en traitant le bébé de 2 501 grammes de manière très différente. Le clinicien convient avec moi que c'est idiot. Dit ensuite de le faire de cette façon.

Il y a longtemps, j'avais un client étudiant diplômé dont le comité insistait sur une analyse en grappes. L'élève n'a pas compris la méthode, la méthode n'a pas répondu à des questions utiles, mais c'est ce que le comité voulait, c'est donc ce qu'il a obtenu.

L'ensemble du domaine des graphiques statistiques est celui où, pour beaucoup, «c'est comme ça que grand-père l'a fait» est suffisant.

Ensuite, il y a des gens qui semblent simplement appuyer sur des boutons. Je me souviens d'une présentation (pas par quelqu'un que j'ai aidé!) Qui avait pris un questionnaire entier et analysé le facteur. L'une des variables qu'elle a incluses était le numéro d'identification!

Oy.

Ceci est une question délicate!

Tout d'abord, quelques réflexions sur les raisons de cette situation. Je travaille dans un domaine qui fait (ou du moins devrait ) faire un usage intensif des statistiques, mais où la plupart des praticiens ne sont pas des experts en statistiques. Par conséquent, on voit beaucoup de "J'ai mis un vecteur dans la fonction de test t d'Excel et ce nombre est tombé. Par conséquent, mon article est étayé par des statistiques."

La principale raison pour laquelle je vois cela se produire est que le manque de connaissances statistiques commence au sommet. Si vos examinateurs et votre comité de thèse ne se tiennent pas au courant des techniques statistiques, vous devez justifier l'utilisation de tout ce qui est "non conventionnel". Par exemple, dans une thèse, j'ai choisi d'utiliser des tracés de violon au lieu de tracés de boîte pour montrer la forme d'une distribution. L'utilisation de cette technique a nécessité une documentation approfondie dans la thèse, ainsi qu'une discussion prolongée pour ma défense où tous les membres du comité voulaient savoir ce que signifiait cet étrange complot, malgré les descriptions dans le texte et les références au matériel source. . Si je venais d'utiliser une boîte à moustaches (qui montre strictement moins informations dans ce cas, et peut facilement tromper le spectateur sur la forme d'une distribution si elle est multimodale) personne n'aurait rien dit, et ma défense aurait été plus facile.

Le fait est que, dans les domaines non statistiques, les praticiens sont confrontés à un choix difficile: nous pouvons lire et ensuite utiliser les bonnes méthodes, ce qui implique un tas de travail auquel aucun de nos supérieurs ne s'intéresse; ou nous pouvons simplement suivre le courant, obtenir le tampon en caoutchouc sur nos papiers et thèses, et continuer à utiliser des méthodes incorrectes mais conventionnelles .

Maintenant, pour répondre à votre question:

Je pense qu'une bonne approche consiste à souligner les conséquences de ne pas utiliser les bonnes techniques. Cela pourrait impliquer:

• Donner un exemple concret de la façon dont une personne dans son domaine a vécu les conséquences d'une mauvaise inférence. C'est plus facile dans certains domaines que dans d'autres. Les exemples où les carrières ont été endommagées sont particulièrement bons.

• Expliquer que faire une analyse incorrecte peut vous laisser dans une situation où vos résultats sont très peu susceptibles de se transférer dans le monde réel, ce qui pourrait causer des dommages (par exemple, dans mon domaine, si votre prototype de système d'IA apparaît statistiquement meilleur que la concurrence, mais en fait est la même chose, alors passer les 6 prochains mois à construire une implémentation complète est une très mauvaise idée.

• Choisissez des techniques qui feront gagner beaucoup de temps aux utilisateurs. Assez de temps pour qu'ils puissent dépenser ce qu'ils économisent en expliquant les techniques aux plus hauts gradés.

Parlant du point de vue d'un psychologue avec seulement une légère sophistication statistique: Lorsque vous introduisez la méthode, présentez également les outils. Si vous racontez à la plupart des chercheurs dans mon domaine une longue histoire sur une excellente nouvelle méthode, ils vont passer tout le temps à s'inquiéter que la punchline soit "et tout ce que vous avez à faire est de rafraîchir votre calcul différentiel et ensuite prendre deux semaine de formation! " (ou "et achetez un package de statistiques de 2000 $!" ou "et adaptez 5000 lignes de code Python et R!"). Alors que s'il existe une implémentation de la méthode disponible dans le package de statistiques qu'ils utilisent déjà, ou dans un logiciel gratuit avec une interface graphique compréhensible, et qu'ils peuvent se familiariser avec elle en un jour ou deux, ils pourraient être prêts à donner c'est un essai.

Je suis conscient que cette approche peut sembler vénale et non scientifique, mais il est facile pour les gens de tomber dans la crainte des subventions et des publications, et ne voient pas l'apprentissage d'énormes quantités de mathématiques comme susceptibles de les aider à conserver leur emploi.

Merci pour cette jolie question Peter. Je travaille dans une institution de recherche médicale et traite avec des médecins qui effectuent des recherches et publient dans des revues médicales. Souvent, ils sont plus intéressés par la publication de leur article que par «faire les statistiques correctement». Ainsi, lorsque je proposerai une technique peu familière, ils pointeront vers un article similaire et diront: «Regardez, ils l'ont fait de cette façon et ont publié leurs résultats».

Il y a un problème, je pense, lorsque le document publié est vraiment mauvais et comporte des erreurs. C'est difficile de discuter même si j'ai une grande réputation. Certains documents ont de gros ego et pensent qu'ils peuvent apprendre presque n'importe quoi. Ils pensent donc comprendre les statistiques lorsqu'ils ne le savent pas et peuvent insister. Cela peut devenir frustrant. Quand c'est au test et que Wilcoxon est plus approprié, je leur fais faire un test de Wilk Shapiro et si la normalité est rejetée, nous incluons les deux méthodes et expliquons pourquoi Wilcoxon est meilleur. Je peux parfois les convaincre et souvent ils dépendent de moi pour les statistiques, donc j'ai un peu plus de poids qu'un consultant général.

J'ai également rencontré une situation où j'ai fait des courbes de Kaplan-Meier pour eux et nous avons utilisé le test de log-rank, mais Wilcoxon a donné un résultat différent. C'était difficile pour moi de décider et dans de telles situations, je pense qu'il est préférable de présenter les deux méthodes et d'expliquer pourquoi elles diffèrent. Il en va de même pour l'utilisation des intervalles de confiance Peto vs Greenwood pour la courbe de survie. Expliquer l'hypothèse du risque de proportion de Cox peut être difficile et ils interprètent souvent mal les rapports de cotes et le risque relatif.

Il n'y a pas de réponse simple. J'avais un patron ici qui était un chercheur médical de haut niveau en cardiologie et il arbitrait parfois des revues. Il regardait un document qui traitait du diagnostic et utilisait l'AUC comme mesure. Il n'avait jamais vu de courbe AUC auparavant et est venu me voir pour voir si je pensais que c'était valide. Il avait des doutes. Cela s'est avéré approprié et je lui ai expliqué de mon mieux.

J'ai essayé de donner des conférences sur la biostatistique aux médecins et j'ai enseigné la biostatistique dans les écoles de santé publique. J'essaie de le faire mieux que les autres et j'ai produit un livre pour les cours d'introduction aux sciences de la santé en 2002 avec un épidémiologiste comme coauteur. Wiley veut que je fasse une deuxième édition maintenant. En 2011, j'ai publié un livre plus concis que j'ai essayé de couvrir uniquement l'essentiel afin que les MD occupés puissent prendre le temps de le relire et de le référencer. C'est ainsi que je le gère. Vous pouvez peut-être partager vos histoires avec nous.

$\log(x); \ x \in (1,2)? \ $

Dans ma carrière, je fais beaucoup de recherches interdisciplinaires et m'a amené à travailler en étroite collaboration avec des chercheurs en toxicomanie, des épidémiologistes, des biologistes, des criminologues et des médecins à divers moments. Cela impliquait généralement une analyse des données où les approches habituelles «en conserve» échouaient pour diverses raisons (par exemple, une combinaison d'échantillonnage biaisé et de données en grappes, indexées longitudinalement et / ou spatialement). J'ai également passé quelques années à consulter à temps partiel à l'école d'études supérieures, où j'ai travaillé avec des gens d'une grande variété de domaines. J'ai donc dû y penser beaucoup.

D'après mon expérience, la chose la plus importante est d'expliquer pourquoi les approches habituelles en conserve sont inappropriées et font appel au désir de la personne de faire de la "bonne science". Aucun chercheur respectable ne veut publier quelque chose qui est manifestement trompeur dans ses conclusions en raison d'une analyse statistique inappropriée. Je n'ai jamais rencontré quelqu'un qui dit quelque chose comme "Je me fiche que l'analyse soit correcte ou non, je veux juste que cela soit publié" bien que je sois sûr que de telles personnes existent - ma réponse serait mettre fin à la relation professionnelle si possible. En tant que statisticien, c'est ma réputation qui pourrait être entachée si quelqu'un qui sait de quoi il parle arrive à lire le journal.

J'admets qu'il peut être difficile de convaincre quelqu'un qu'une analyse particulière est inappropriée, mais je pense qu'en tant que statisticiens, nous devrions (a) avoir les connaissances nécessaires pour savoir exactement ce qui peut mal tourner avec l'approche "en conserve" et (b) avoir la capacité de l'expliquer est une manière raisonnablement compréhensible. À moins que vous ne travailliez en tant que professeur de statistique ou de mathématiques, une partie de votre travail consistera à travailler avec des non-statisticiens (et même parfois si vous êtes un professeur de statistiques / mathématiques).

En ce qui concerne (a) , si le statisticien n'a pas cette connaissance, pourquoi découragerait-il l'approche en conserve? Si le statisticien dit "utilisez des modèles à effets aléatoires" mais ne peut pas expliquer pourquoi supposer l'indépendance est un problème, alors n'est-il pas coupable de céder au dogme de la même manière que le client? Tout critique, statisticien ou non, peut faire des critiques pédantes d'une approche de modélisation statistique parce que, avouons-le - tous les modèles sont faux. Mais, cela nécessite une expertise pour savoir exactement ce qui pourrait mal tourner.

En ce qui concerne (b) , j'ai constaté que les représentations graphiques de ce qui pourrait mal se produisent le plus souvent. Exemples:

• $x$

• $y = x$$x \in (0,1)$$y = 1$$x > 1$$p$$x$$y$

• Une autre situation courante (également mentionnée par Peter) explique pourquoi assumer l'indépendance est une mauvaise idée. Par exemple, vous pouvez montrer avec un graphique que l'autocorrélation positive produira généralement des données plus "groupées" et la variance sera sous-estimée pour cette raison, donnant une idée de pourquoi les erreurs standard naïves ont tendance à être trop petites. Ou, vous pouvez également tracer les données avec la courbe ajustée qui suppose l'indépendance et on peut voir visuellement comment les grappes influencent l'ajustement (réduisant efficacement la taille de l'échantillon) d'une manière qui n'est pas présente dans les données indépendantes.

Il y a un million d'autres exemples mais je travaille avec des contraintes d'espace / temps ici :) Lorsque les images ne fonctionnent tout simplement pas pour une raison quelconque (par exemple, montrant pourquoi une approche est sous-alimentée), les exemples de simulation sont également une option que j'ai utilisée de temps en temps.

Quelques réflexions au hasard car c'est une question complexe ...

Je pense qu'un gros problème est le manque de formation en mathématiques dans une variété de disciplines professionnelles et de programmes diplômés.

Sans une compréhension mathématique des statistiques, cela devient un tas de formules à appliquer selon le cas.

De plus, pour bien comprendre la question, les professeurs devraient parler des problèmes originaux auxquels les auteurs originaux étaient confrontés au moment de publier leurs approches. On peut en apprendre plus que de lire des milliers de livres sur le sujet.

La statistique est une boîte à outils pour résoudre des problèmes, mais c'est aussi un art et fait face aux mêmes problèmes que tout autre art.

On peut apprendre à faire des sons avec un instrument. Mais en étant capable de«jouer» un instrument ne devient pas musicien.

Cependant, il n'est pas rare de trouver des gens qui se considèrent comme des musiciens sans avoir étudié un seul concept de rythme, de mélodie et d'harmonie.

Dans le même ordre d'idées, pour faire publier des articles, la plupart des gens n'ont pas besoin de connaître ni de comprendre les concepts derrière une formule ... de nos jours, les scientifiques ont juste besoin de savoir sur quelle touche ils doivent appuyer et quand elle doit être appuyée, point final.

Cela n'a donc rien à voir avec le «moi» des médecins. Il s'agit d'un problème sous-culturel, un problème plus lié à l'éducation, aux coutumes et aux valeurs de la communauté scientifique.

À quoi peut-on s'attendre à une époque où des milliers et des milliers et des milliers d'articles et de livres inutiles sont publiés pour remplir certaines conditions / politiques académiques? À une époque où la quantité d'articles que l'on publie est plus importante que leur qualité?

Les scientifiques traditionnels ne sont plus inquiets de la bonne science. Ce sont des esclaves de nombres. Ils sont affectés (ou infectés) par le bug administratif de notre époque ...

Donc, de mon point de vue, un bon cours de statistique devrait inclure la base mathématique, historique et philosophique de l'approche étudiée, en mettant toujours en évidence les différentes voies possibles prendre pour résoudre un seul problème.

Enfin, si j'étais professeur de statistiques / probabilités, ma première conférence serait consacrée à des problèmes commemélanger les cartes ou lancer une pièce . Cela mettra le public dans la bonne position pour écouter ... probablement.