Article sur l'utilisation abusive de la méthode statistique dans NYTimes

Je fais référence à cet article: http://www.nytimes.com/2011/01/11/science/11esp.html

Considérez l'expérience suivante. Supposons qu'il y ait des raisons de croire qu'une pièce est légèrement lestée vers les têtes. Dans un test, la pièce remonte 527 fois sur 1000.

Est-ce une preuve significative que la pièce est pesée?

L'analyse classique dit oui. Avec une pièce de monnaie équitable, les chances d'obtenir 527 têtes ou plus en 1000 flips sont inférieures à 1 sur 20, ou 5 pour cent, la coupure conventionnelle. En d'autres termes: l'expérience trouve des preuves d'une pièce pondérée «avec une confiance de 95%».

Pourtant, de nombreux statisticiens ne l'achètent pas. Un sur 20 est la probabilité d'obtenir un nombre de têtes supérieur à 526 en 1 000 lancers. C'est-à-dire que c'est la somme de la probabilité de retourner 527, la probabilité de retourner 528, 529 et ainsi de suite.

Mais l'expérience n'a pas trouvé tous les nombres dans cette gamme; il a trouvé un seul - 527. Il est donc plus précis, selon ces experts, de calculer la probabilité d'obtenir ce numéro - 527 - si la pièce est pondérée, et de le comparer avec la probabilité d'obtenir le même numéro si la pièce est juste.

Les statisticiens peuvent montrer que ce rapport ne peut pas être supérieur à environ 4 pour 1, selon Paul Speckman, un statisticien, qui, avec Jeff Rouder, un psychologue, a fourni l'exemple.

Première question: c'est nouveau pour moi. Quelqu'un a-t-il une référence où je peux trouver le calcul exact et / ou pouvez-vous m'aider en me donnant le calcul exact vous-même et / ou pouvez-vous me diriger vers du matériel où je peux trouver des exemples similaires?

Bayes a conçu un moyen de mettre à jour la probabilité d'une hypothèse à mesure que de nouvelles preuves arrivent.

Ainsi, pour évaluer la force d'une conclusion donnée, l'analyse bayésienne (prononcé BAYZ-ee-un) incorpore des probabilités connues, si elles sont disponibles, de l'extérieur de l'étude.

Cela pourrait être appelé l'effet «Ouais, c'est ça». Si une étude révèle que les kumquats réduisent le risque de maladie cardiaque de 90%, qu'un traitement guérit la dépendance à l'alcool en une semaine, que les parents sensibles sont deux fois plus susceptibles de donner naissance à une fille qu'à un garçon, la réponse bayésienne correspond à celle de le sceptique natif: Ouais, à droite. Les résultats de l'étude sont mis en balance avec ce qui est observable dans le monde.

Dans au moins un domaine de la médecine - les tests de dépistage diagnostique - les chercheurs utilisent déjà des probabilités connues pour évaluer de nouvelles découvertes. Par exemple, un nouveau test de détection de mensonge peut être précis à 90% et signaler correctement 9 menteurs sur 10. Mais s'il est donné à une population de 100 personnes déjà connue pour inclure 10 menteurs, le test est beaucoup moins impressionnant.

Il identifie correctement 9 des 10 menteurs et en manque un; mais il identifie à tort 9 des 90 autres comme menteurs. La division des soi-disant vrais positifs (9) par le nombre total de personnes marquées par le test (18) donne un taux de précision de 50%. Les «faux positifs» et les «faux négatifs» dépendent des taux connus dans la population.

Deuxième question: Comment jugez-vous exactement si une nouvelle constatation est "réelle" ou non avec cette méthode? Et: N'est-ce pas aussi arbitraire que la barrière de 5% en raison de l'utilisation d'une probabilité préalable prédéfinie?

Je répondrai en détail à la première question.

Avec une pièce de monnaie équitable, les chances d'obtenir 527 têtes ou plus en 1000 flips sont inférieures à 1 sur 20, ou 5 pour cent, la coupure conventionnelle.

$n=1000$$p=1/2$

$$P(B(1000,1/2)>=527)$$

Cela peut être calculé avec n'importe quel progiciel statistique. R nous donne

> pbinom(526,1000,1/2,lower.tail=FALSE)
   0.04684365

Ainsi, la probabilité qu'avec une pièce de monnaie équitable nous obtenions plus de 526 têtes est d'environ 0,047, ce qui est proche du seuil de 5% mentionné dans l'article.

La déclaration suivante

En d'autres termes: l'expérience trouve des preuves d'une pièce pondérée «avec une confiance de 95%».

est discutable. Je serais réticent à le dire, car une confiance de 95% peut être interprétée de plusieurs manières.

Ensuite, nous nous tournons vers

Mais l'expérience n'a pas trouvé tous les nombres dans cette gamme; il a trouvé un seul - 527. Il est donc plus précis, selon ces experts, de calculer la probabilité d'obtenir ce numéro - 527 - si la pièce est pondérée, et de le comparer avec la probabilité d'obtenir le même numéro si la pièce est juste.

$B(1000,1/2)=527$$B(1000,p)=527$

$$\frac{P(B(1000,p)=527)}{P(B(1000,1/2)=527)}=\frac{p^{527}(1-p)^{473}}{(1/2)^{1000}}.$$

$p$

Les statisticiens peuvent montrer que ce rapport ne peut pas être supérieur à environ 4 pour 1, selon Paul Speckman, un statisticien, qui, avec Jeff Rouder, un psychologue, a fourni l'exemple.

$p$

$$p=\frac{527}{1000}.$$

On peut vérifier qu'il s'agit bien d'un maximum en utilisant par exemple le test de dérivée seconde . Le substituer à la formule que nous obtenons

$$\frac{(527/1000)^{527}(473/1000)^{473}}{(1/2)^{1000}}\approx 4.3$$

Le rapport est donc de 4,3 à 1, ce qui correspond à l'article.