La plupart des corrélations publiées en sciences sociales ne sont-elles pas fiables et que faut-il faire? [fermé]

9

Malgré les efforts importants mais éclatants des individus "gotcha" pour révéler les pratiques des journaux prédateurs , une menace plus grande et plus fondamentale se profile dans l'ombre de la recherche en sciences sociales ( bien qu'il y ait certainement de multiples problèmes que les chercheurs doivent résoudre ). Pour aller droit au but, selon une opinion, il se peut que nous ne puissions pas faire confiance aux coefficients de corrélation dérivés d'échantillons inférieurs à 250 .

Il serait difficile de trouver un test plus fiable pour déduire la présence, la direction et la force de l'association entre les mesures en sciences sociales que le coefficient de corrélation fiable. Cependant, il ne serait pas difficile de trouver des rapports examinés par des pairs faisant de fortes affirmations sur la relation entre deux constructions basées sur des coefficients de corrélation calculés à partir de données avec moins de 250 cas.

Compte tenu de la crise actuelle de réplication à laquelle sont confrontées les sciences sociales (voir le deuxième lien ci-dessus), comment devrions-nous considérer ce rapport concernant la stabilisation des coefficients de corrélation uniquement sur de grands échantillons (au moins selon certaines normes de domaine des sciences sociales)? Est-ce une autre fissure dans le mur de la recherche en sciences sociales évaluée par des pairs, ou est-ce une question relativement banale qui a été exagérée dans sa présentation?

Comme il n'y a probablement pas une seule réponse correcte à cette question, j'espère plutôt générer un fil de discussion où les ressources sur cette question pourront être partagées, réfléchies et débattues (poliment et respectueusement bien sûr).

correlation methodology publication-bias Matt Barstead
la source
Je reconnais qu'il s'agit d'une question d'opinion et contourne les directives générales du site. Le fait est qu'un large éventail de personnes viennent sur ce site pour avoir un aperçu des statistiques, y compris une meilleure compréhension des pièges inhérents aux techniques qu'ils cherchent à utiliser. J'espère qu'en posant cette vaste question, je pourrai contribuer à cet objectif, certes vague. Apprendre à calculer une erreur standard est une chose. Apprendre ce que cela signifie de l'utiliser lorsque l'on prend une décision supposée fondée sur des preuves en est une autre.
Matt Barstead
Ce qui est encore pire, c'est la façon dont ces "250 cas obligatoires" sont sélectionnés. Je vois de plus en plus souvent que quelqu'un publie un plaidoyer pour répondre à un sondage dont il a besoin pour un article ou une thèse, sur un site de médias sociaux. Complétez avec le sujet de l'enquête. Je ne sais absolument pas comment poeple va s'auto-sélectionner. Au revoir à des échantillons aléatoires, car les membres du groupe social d'une personne ne sont pas aléatoires, appartiennent généralement à des groupes idéologiques / politiques / économiques similaires, et se sélectionnent eux-mêmes en fonction de leur intérêt pour le sujet. Cue à "90% sont en faveur de X" , juste parce que ceux qui sont apathiques ne se sont pas portés volontaires.
vsz

Réponses:

7

ρL=0,3ρ≠0|ρ|>LρL-L

Bien sûr, l'ajout d'un intervalle de confiance et l'utilisation de tests significatifs ne résoudront pas trop de problèmes (comme les mauvais plans d'échantillonnage, la considération omise des facteurs de confusion, etc.). Mais c'est essentiellement gratuit. Je suppose que même SPSS est capable de les calculer!

Michael M
la source
1
En effet, si SPSS peut le faire ... Plus sérieusement, je pense que l'idée de mettre l'accent sur les CI a beaucoup de sens. Cela aiderait également aux efforts méta-analytiques. De plus, il me semble que rapporter des IC au lieu des valeurs de p est quelque chose d'une approximation fréquentiste d'une approche bayésienne. J'ai toujours pensé que les modèles bayésiens ont tendance à "se sentir" plus honnêtes dans la mesure où ils se concentrent sur la modélisation d'une distribution d'estimations plutôt que sur l'estimation la plus probable pour un paramètre de population dérivé d'un seul échantillon.
Matt Barstead
4

Comme le note Michael M , la fiabilité des corrélations signalées - ou de toute autre estimation - peut être évaluée à l'aide d'intervalles de confiance. Dans une certaine mesure, c'est. Les IC seront trop étroits si les modèles étaient sélectionnés après la collecte des données, ce qui, selon moi, se produit environ 95% du temps dans les sciences sociales (ce que je dirai honnêtement est une supposition complète de la mienne).

Le remède est double:

  • Nous parlons d'une " reproductibilité crise de ". Ainsi, les réplications échouées nous informent que l'effet d'origine n'était probablement qu'un bruit aléatoire. Nous devons faire (et financer, rédiger, soumettre et accepter) plus de réplications. Les études de réplication gagnent lentement en respectabilité, et c'est une bonne chose.

  • n

Stephan Kolassa
la source
@Stephen, question: que signifie "réplication", doit-on utiliser les mêmes données ou des données différentes pour reproduire l'étude d'origine? Y a-t-il une différence entre la réplication et la répétabilité?
prévisionniste
Pour votre premier point, je pense que les dernières années ont vu un réel mouvement sur le front de la reproductibilité. Un chapitre à venir propose des conseils aux chercheurs sur les émotions qui, à mon avis, se traduisent bien dans un certain nombre de sous-domaines des sciences du comportement.
Matt Barstead
@forecaster: une réplication doit être effectuée avec de nouvelles données collectées indépendamment, sinon vous n'apprendrez rien de nouveau . La «répétabilité» n'est pas un terme que j'ai rencontré. Bien sûr, il y a toujours la question de savoir si la publication originale est suffisamment détaillée pour que quelqu'un d'autre puisse réellement répéter l'analyse.
Stephan Kolassa