Origine du seuil «5

33

Selon des reportages, le CERN annoncera demain que le boson de Higgs a été détecté de manière expérimentale avec des preuves de 5 . Selon cet article:σ

5 équivaut à 99,99994% des chances que les données détectées par les détecteurs CMS et ATLAS ne soient pas que du bruit aléatoire - et une probabilité de 0,00006% qu’elles aient été trompées; 5 est la certitude nécessaire pour que quelque chose soit officiellement qualifié de «découverte» scientifique.σσ

Ce n'est pas super rigoureux, mais il semble dire que les physiciens utilisent la méthodologie statistique standard de "test d'hypothèse", en définissant sur , ce qui correspond à (bilatéral)? Ou y a-t-il une autre signification?α0.0000006z=5

Bien sûr, dans la plupart des sciences, la valeur alpha de 0,05 est établie systématiquement. Cela équivaudrait à une preuve "à deux ", bien que je n’aie jamais entendu parler de cela. Existe-t-il d'autres domaines (en dehors de la physique des particules) où une définition beaucoup plus stricte de l'alpha est la norme? Quelqu'un connaît-il une référence sur la manière dont la règle des cinq été acceptée par la physique des particules?σσ

Mise à jour: je pose cette question pour une raison simple. Mon livre Intuitive Biostatistics (comme la plupart des livres de statistiques) contient une section qui explique à quel point la règle habituelle "P <0,05" est arbitraire. J'aimerais ajouter cet exemple de domaine scientifique dans lequel une valeur beaucoup (beaucoup!) Plus petite de est jugée nécessaire. Mais si l’exemple est en réalité plus compliqué, avec l’utilisation de méthodes bayésiennes (comme le suggèrent certains commentaires ci-dessous), il ne serait alors pas tout à fait approprié ou exigerait beaucoup plus d’explications.α

Harvey Motulsky
la source
2
Jamais entendu parler de "Six Sigma" ?
Daniel R Hicks
Dans le contrôle de la qualité, six sigma sont considérés comme le suggère Daniel avec sa question / remarque. Ces probabilités de rejet supposent toutes un échantillonnage d'une distribution normale et les probabilités extrêmes pourraient être plus grandes pour les autres distributions. Utiliser des extrêmes tels que 5 ou 6 sigma ne peut être utile que dans des circonstances spéciales. En pratique, la taille de l'échantillon et la variabilité dans les données rendent l'inférence impossible au-delà de 2 ou 3 sigma.
Michael R. Chernick
1
En fait, la plupart des physiciens des particules sont plus à l' aise avec des idées bayésiens pour le calcul des paramètres, ils sont en réalité « sûr, compte tenu des données et les prieurs, que le signal du Higgs est zéro », ce qui est certainement différent de dire que il n'y a que "0,01% de chance que le signal soit un bruit aléatoire" (la systématique présente également des fluctuations non aléatoires!). [1]: physics.stackexchange.com/questions/8752/…X%
Néstor
3
@ Néstor: Je regarde la retransmission en direct de la conférence de presse de Higgs, et personne ne mentionne les interprétations bayésiennes. Les "valeurs p" et le "niveau de signification" sont utilisés, mais seul un bayésien horriblement mal informé pourrait les interpréter comme des probabilités que le signal soit du bruit aléatoire. Je pense que le texte de la citation de la question du PO est simplement une interprétation erronée de ce que sont réellement les valeurs p.
mardi
1
BTW, j'ai publié un article sur mon blog sur le sujet: randomastronomy.wordpress.com .
Néstor

Réponses:

13

Dans la plupart des applications de statistiques, il y a ce vieux langage à propos de «tous les modèles sont faux, certains sont utiles». Ceci étant le cas, nous nous attendions à ce qu'un modèle fonctionne à un niveau donné puisque nous décrivons un processus incroyablement compliqué à l'aide d'un modèle simple.

La physique étant très différente, l'intuition développée à partir de modèles statistiques n'est pas aussi appropriée. En physique, en particulier la physique des particules qui traite directement des lois physiques fondamentales, le modèle est en réalité censé être une description exacte de la réalité. Tout écart par rapport à ce que le modèle prédit doit être complètement expliqué par du bruit expérimental et non par une limitation du modèle. Cela signifie que si le modèle est bon et correct et que l'appareil expérimental comprend bien, la signification statistique doit être très élevée, d'où la barre haute qui est définie.

L'autre raison est historique: la communauté de la physique des particules a été brûlée dans le passé par des "découvertes" à des niveaux de signification plus bas qui ont ensuite été rétractées, elles sont donc généralement plus prudentes maintenant.

Bogdanovist
la source
1
Pensez-vous que la physique utilise des tests d'hypothèses statistiques standard avec un alpha très faible (dans ce cas, de toute façon). Ou utilisent-ils une sorte d’approche bayésienne comme Nestor l’a dit dans un commentaire ci-dessus?
Harvey Motulsky
2
D'après ce que j'ai compris en parlant à certaines des personnes qui travaillent sur ATLAS, l'analyse est très bayésienne. Cependant, ce sont des gars de niveau inférieur (c'est-à-dire ceux qui font le travail). Cela ne me surprendrait pas si certaines des têtes parlantes plus haut dans la chaîne comprenaient moins bien l'interprétation. Cela étant dit, la présentation des résultats du LHC était assez médiocre et ne semblait pas vraiment très bayésienne, comme d'autres l'ont noté.
Bogdanovist
2
J'ai toujours pensé que la physique des particules en particulier traitait aussi des milliards d'événements. Vous devez donc placer la barre très haut.
Wayne
11

Histoire et origine

Selon Robert D Cousins125σ

34σ5σ

(Kππ)3/2,(πρ)3σ>4σ

et plus tard dans le papier (c'est mon accent)

4σ3σ5σ

Tommaso semble prudent en déclarant qu'il a commencé avec l'article de Rosenfeld

Tommaso: "Cependant, il convient de noter que l'article a été écrit en 1968, mais que le critère strict de cinq écarts-types pour les déclarations préliminaires n'a pas été adopté dans les années soixante-dix et quatre-vingt. Par exemple, aucun critère de cinq sigma n'a été utilisé pour la découverte des bosons W et Z, qui ont valu à Rubbia et à Van der Meer le prix Nobel de physique en 1984. "

5σ4

Schneider: "Souvent, des" niveaux de confiance "de 95% ou 99% sont cités pour des données apparemment divergentes, mais cela ne représente que deux ou trois sigmas statistiques. On m'a appris à ne pas croire moins de cinq sigma , ce qui, si vous en pensez Il s’agit là d’une exigence absurdement stricte - un niveau de confiance de 99,9999%, bien entendu, mais cette limite est utilisée car la taille réelle de sigma n’est presque jamais connue. Il existe trop de variables libres en astronomie que nous pouvons ne pas contrôler ou ne pas savoir. "

4σ5σ5

Franklin: En 2003, le critère de "déviation standard" de 5 ans semble avoir été en vigueur

...

Un membre de la collaboration BaBar rappelle qu’à peu près à la même époque, le critère du 5 sigma avait été publié comme guide par les éditeurs de la revue Physical Review Letters.


Utilisation moderne

5σ67

Z=55σ2.87×107

5σ

  • 5σ3σ4σ

  • 5σ

  • σσσ6σ

  • 5σ

5σ8,912


Autres domaines

Il est intéressant de noter que beaucoup d'autres domaines scientifiques n'ont pas de seuils similaires ou ne traitent pas, d'une manière ou d'une autre, la question. J'imagine que cela semble un peu logique dans le cas d'expériences sur des humains où il est très coûteux (ou impossible) de prolonger une expérience donnant une signification de 0,05 ou 0,01.

1011


  1. Cousins, RD (2017). Le paradoxe de Jeffreys – Lindley et ses critères de découverte en physique des hautes énergies. Synthese, 194 (2), 395-432. lien arxiv

  2. Dorigo, T. (2013) Démystifier le critère des cinq sigma, extrait de science20.com le 2019-03-07

  3. Rosenfeld, AH (1968). Y a-t-il des mésons ou des baryons éloignés? source web: escholarship

  4. Burbidge, G., M. Roberts, S. Schneider, N. Sharp et W., Tifft (1990, novembre). Discussion de groupe: problèmes liés au redshift. Dans NASA Conference Publication (Vol. 3098, p. 462). lien vers photocopie sur harvard.edu

  5. Franklin, A. (2013). Normes changeantes: expériences de physique des particules au XXe siècle. Presses de l'Université de Pittsburgh.

  6. Que signifie le 5 sigma? de physics.org 2019-03-07

  7. Beringer, J., Arguin, JF, Barnett, RM, Copic, K., Dahl, O., Groom, DE, ... et Yao, WM (2012). Examen de la physique des particules. Physical Review D-Particles, Fields, Gravitation and Cosmology, 86 (1), 010001. (section 36.2.2. Tests de signification, page 394, lien aps.org )

  8. Lyons, L. (2013). Découvrir la signification de 5 sigma. préimpression arXiv arXiv: 1310.1284. lien arxiv

  9. Lyons, L. (2014). Problèmes statistiques dans les recherches de nouvelle physique. lien pré- arxiv arxiv

  10. Baker, M. (2015). Plus de la moitié des études psychologiques échouent au test de reproductibilité. Nature Nouvelles. de nature.com 2019-03-07

  11. Horton, R. (2015). Hors ligne: quel est le 5 sigma de la médecine ?. The Lancet, 385 (9976), 1380. De thelancet.com au 2019-03-07

Sextus Empiricus
la source
4

Pour une raison totalement différente de celle de la physique, il existe d'autres domaines avec des alphas beaucoup plus stricts lorsqu'ils effectuent des tests d'hypothèses. L'épidémiologie génétique en fait partie, en particulier lorsqu'elle utilise "GWAS" (étude d'association pangénomique) pour examiner divers marqueurs génétiques de la maladie.

Étant donné qu’une étude GWAS est un exercice massif de test d’hypothèses multiples, les techniques d’analyse de pointe sont toutes construites autour d’alphas beaucoup plus stricts que 0,05. D'autres techniques d'étude de "sélection de candidats" de ce type qui suivent les études en génomique feront probablement de même.

Fomite
la source
2
α