Le concept de «prouvé statistiquement»

10

Lorsque les informations parlent de choses «prouvées statistiquement», utilisent-elles correctement un concept bien défini de statistiques, l'utilisent-elles mal ou utilisent-elles simplement un oxymore?

J'imagine qu'une «preuve statistique» n'est pas en fait quelque chose qui est effectué pour prouver une hypothèse, ni une preuve mathématique, mais plutôt un «test statistique».

Quora Feans
la source
10
Il n'y a aucune preuve en statistique, sauf que les preuves en statistique mathématique doivent suivre les normes mathématiques. Cependant, ces preuves ne sont pas pertinentes pour votre question. En ce qui concerne votre exemple, personne, sauf un idiot ou un humoriste, ne prétend que chaque famille américaine a 2,4 enfants. Tout au plus prétend-on qu'en moyenne, les familles ont 2,4 enfants; cela peut être vérifié par des enquêtes par sondage ou un autre recensement, mais comme le nombre peut fluctuer ou changer systématiquement, un résultat différent ne signifie pas que le premier résultat était incorrect; le même résultat ne signifie pas non plus que le premier résultat était correct.
Nick Cox

Réponses:

16

Ce que les gens parlent de nouvelles est une supposition de personne et varie en fonction du journal télévisé. Le plus courant est peut-être qu'ils donnent un résumé d'une phrase de la recherche qui nécessite plusieurs pages.

Cependant, votre dernier paragraphe est erroné. Statistiquement, chaque famille n'a PAS 2,4 enfants. La moyenne est de 2,4 enfants. C'est tout à fait possible. Si vous prenez un échantillon aléatoire de familles américaines (difficile à faire, mais possible), vous obtiendrez alors une estimation de la moyenne. Cependant, si vous avez fait un recensement des familles, alors, si le recensement a vraiment touché chaque famille (ce n'est pas le cas) ou, si les personnes qu'il a obtenues sont représentatives des personnes qu'il n'a pas reçues, en ce qui concerne le nombre d'enfants, alors vous auriez prouvé le fait.

Cependant, non seulement le recensement manque de personnes, mais les personnes qu'il manque sont différentes à bien des égards des personnes qu'il reçoit. Le Census Bureau essaie donc de comprendre en quoi ils diffèrent; ainsi, encore une fois, donnant une estimation du nombre d'enfants par famille.

Mais il y a des choses que vous pouvez prouver; si vous vouliez savoir, par exemple, le nombre moyen d'années que chaque professeur de votre département avait enseigné, vous pourriez obtenir des données précises et trouver une moyenne exacte.

Votre avant-dernier paragraphe est également problématique car des tests statistiques sont effectués précisément pour prouver les hypothèses; plus précisément, ils sont faits (dans le cadre fréquentiste en tout cas) pour rejeter une hypothèse nulle à un niveau de signification donné.

Peter Flom - Réintégrer Monica
la source
Correction de ma question.
Quora Feans
5

Je pense - comme pour tant de choses - c'est une combinaison d'un malentendu culturel répandu et de tentatives journalistiques de sténographie percutante qui se révèlent parfois trompeuses.

" Les téléphones portables causent le cancer! " Vend plus d'annonces que d'explications sur la recherche d'un lien possible.

Bien sûr, des conclusions basées sur l'inférence statistique ne sont pas la preuve au sens strict. Cela dépend d'hypothèses, et même dans ce cas, les conclusions (au mieux) sont probabilistes (comme nous l'obtenons, par exemple avec l'inférence bayésienne), puis avec l'inférence fréquentiste, vous devez ajouter l'erreur habituelle d'interprétation erronée des valeurs de p comme la probabilité que le null est vrai. C'est sans même tenir compte de problèmes comme la publication ou le biais de signalement

Vous voyez des erreurs similaires tout autant avec les rapports scientifiques plus généralement et c'est tout aussi frustrant .

Je n'aime pas l'expression «statistiquement prouvée» moi-même, car je pense qu'elle donne une mauvaise impression. Bien que les statistiques bien faites soient un outil puissant, les choses que les statistiques nous révèlent peuvent être étonnamment subtiles et la discussion appropriée de la signification de ce qui est appris et des qualifications qui accompagnent les conclusions sont souvent inadaptées au battage médiatique et à la vivacité d'un titre ou quelques paragraphes pressés se faufilèrent entre les potins de célébrités habituels.

En effet, même dans les revues universitaires où ce type de qualifications semble essentiel, elles sont souvent laissées de côté et au lieu de cela, il y a un énoncé de formule (différent d'un domaine de recherche à l'autre) qui est considéré comme `` l'onction '' du résultat.

Je pense qu'il est possible d'expliquer soigneusement le raisonnement allant des résultats de l'inférence (qu'il s'agisse d'estimation ponctuelle et d'intervalle, de test d'hypothèse, de calculs théoriques de la décision ou même de construction exploratoire de quelques comparaisons visuelles) aux conclusions auxquelles ils aboutissent. Ce raisonnement est là où réside le véritable cœur du problème (y compris où les lacunes du raisonnement seraient mises à nu, si elles étaient explicites) et nous le voyons rarement exposé.

En plus de cela, nous pouvons continuer à sonner une note de prudence

Glen_b -Reinstate Monica
la source
(+1) Pouvez-vous s'il vous plaît examiner chacun de mes futurs articles?
Matt Krause
2
Vous pourriez ne pas l'aimer. Plus d'une fois, les rapports de mon arbitre se sont révélés beaucoup plus longs que le document d'origine, car je passe en revue ce qui ne va pas et comment y remédier (la plupart du temps, la réponse consiste à découper des sections entières de papier plutôt qu'à essayer de le réparer). les parties les plus problématiques, mais généralement les plus intéressantes, malheureusement). Un de mes étudiants avait un rapport similaire sur son travail de l'un de ses arbitres; il était en fait assez précieux et a conduit à un bien meilleur produit final.
Glen_b -Reinstate Monica
-2

La connaissance empirique est toujours probabiliste - jamais clairement vraie ou fausse, mais toujours quelque part entre les deux. La «preuve» statistique consiste à collecter suffisamment de données pour réduire la probabilité qu'une hypothèse soit erronée à moins d'un certain seuil accepté. Et le seuil de «vérité» ou de «correction» diffère d'une discipline académique à l'autre. Les sociologues sont satisfaits d'une probabilité de 95% d'avoir raison et se contentent parfois de moins; les physiciens quantiques exigent 99,99999% ou mieux.

Kevin Krumwiede
la source
2
Bienvenue sur le site, @Kevin Krumwiede. Votre dernière phrase est ambiguë. Il semble que vous commettez une erreur courante qui confond une valeur de p <0,05 (par exemple) avec une probabilité de 95% que l'hypothèse nulle soit fausse.
gung - Rétablir Monica