Pourquoi est-il mauvais d'enseigner aux élèves que les valeurs p sont la probabilité que les résultats soient dus au hasard?

Quelqu'un peut-il, s’il vous plaît, donner une explication succincte de la raison pour laquelle il n’est pas judicieux d’enseigner aux élèves qu’une valeur p est la probabilité (leurs résultats sont dus à une chance [aléatoire]). D'après ce que je comprends, une p-value est le prob (obtenir des données plus extrêmes | l'hypothèse nulle est vraie).

Mon véritable intérêt est de savoir quel mal y a-t-il à leur dire que c'est le premier (à part le fait que ce n'est tout simplement pas le cas).

J'ai une interprétation de la signification de la fausse déclaration différente de celle de @Karl. Je pense que c'est une déclaration sur les données, plutôt que sur le zéro. Je comprends que vous demandez la probabilité d’obtenir votre estimation en raison du hasard. Je ne sais pas ce que cela signifie - ce n'est pas une revendication bien spécifiée.

Mais je comprends ce que signifie probablement la probabilité d’obtenir mon estimation par hasard, étant donné que l’estimation réelle est égale à une valeur particulière. Par exemple, je peux comprendre ce que signifie obtenir une très grande différence de hauteurs moyennes entre hommes et femmes, étant donné que leurs hauteurs moyennes sont en fait les mêmes. C'est bien précisé. Et c'est ce que la valeur p donne. Ce qui manque dans la mauvaise déclaration est la condition que la valeur null soit vraie.

Maintenant, nous pourrions objecter que cette affirmation n'est pas parfaite (la chance d'obtenir une valeur exacte pour un estimateur est 0, par exemple). Mais c'est bien mieux que ce que la plupart des gens interprètent comme une p-valeur.

Le point clé que je répète sans cesse lorsque j'enseigne le test d'hypothèses est le suivant: "La première étape consiste à supposer que l'hypothèse nulle est vraie. Tout est calculé compte tenu de cette hypothèse." Si les gens s'en souviennent, c'est très bien.

J'ai souvent vu cette interprétation (peut-être plus souvent que la bonne). J'interprète "leurs conclusions sont dues à un hasard [aléatoire]" comme " est vrai", et donc ce qu'ils disent est vraiment Pr ( H 0 ) [qui devrait en fait être Pr ( H 0 | data ) ; dire, "compte tenu de ce que nous avons vu (les données), quelle est la probabilité que seul le hasard fonctionne?"] Cela peut être une déclaration significative (si vous êtes prêt à attribuer des a priori et Bayes), mais$\text{H}_0$$\Pr(\text{H}_0)$$\Pr(\text{H}_0 | \text{data})$ ce n'est pas le cas. -value .

peut être très différent de la p-value, et donc interpréter une p-value de cette manière peut être gravement trompeur.$\Pr(\text{H}_0 | \text{data})$

L'illustration la plus simple: disons le prieur, est assez petite, mais on a assez peu de données, et donc la p-valeur est large (disons 0,3), mais la postérieure, Pr ( H 0 | données ) , serait encore assez petit. [Mais peut-être que cet exemple n'est pas si intéressant.]$\Pr(H_0)$$\Pr(\text{H}_0|\text{data})$

J'ajouterai une réponse tardive du point de vue des (ex) étudiants: mon humble avis, le mal ne peut être séparé de son tort.

Ce type de "approximations didactiques / raccourcis" erronés peut créer beaucoup de confusion pour les étudiants qui réalisent qu'ils ne peuvent pas comprendre logiquement l'énoncé, mais en supposant que ce qu'on leur enseigne est juste, ils ne se rendent pas compte qu'ils ne sont pas capables de le comprendre. car ce n'est pas bien.

Cela n'affecte pas les étudiants qui viennent de mémoriser les règles qui leur sont présentées. Mais il faut que les étudiants qui apprennent par la compréhension soient suffisamment bons pour

• arriver à la solution correcte par eux-mêmes et
• être assez bon pour qu'ils puissent être sûrs qu'ils ont raison
• et concluent qu’on leur enseigne des conneries (pour une raison prétendument didactique).

Je ne dis pas qu'il n'y a pas de raccourcis didactiques valables. Mais IMHO quand un tel raccourci est pris, cela devrait être mentionné (par exemple comme "pour la facilité de l'argument, nous supposons / approchons que ...").
Dans ce cas particulier, cependant, je pense que cela est trop trompeur pour être utile.

Se référant directement à la question: Où est le mal?

À mon avis, la réponse à cette question se trouve à l'inverse de l'affirmation suivante: "Une valeur p est la probabilité que les résultats soient dus à un hasard." Si on le croit, on croit probablement aussi ce qui suit: "[1- (valeur p)] est la probabilité que les résultats NE soient PAS dus au hasard."

Le problème réside alors dans la deuxième déclaration, car, compte tenu de la façon dont fonctionne le cerveau de la plupart des gens, cette déclaration surestime grossièrement le degré de confiance que nous devrions avoir dans les valeurs spécifiques d’un paramètre estimé.

Voici un exemple simple que j'utilise:

Supposons que notre hypothèse nulle soit que nous retournons une pièce à deux têtes (donc prob (têtes) = 1). Maintenant, nous jetons la pièce une fois et obtenons des têtes, les valeurs p pour cela sont 1, cela signifie-t-il que nous avons 100% de chances d'avoir une pièce à 2 têtes?

Le problème, c’est que si nous avions retourné une queue, la valeur p aurait été égale à 0 et la probabilité d’avoir une pièce de monnaie à 2 têtes aurait été égale à 0; La valeur p de 1 ci-dessus signifie simplement que ce que nous avons observé est parfaitement compatible avec l'hypothèse d'une pièce de monnaie à 2 têtes, mais cela ne prouve pas que la pièce est à 2 têtes.

De plus, si nous faisons des statistiques fréquentistes, alors l'hypothèse nulle est soit Vrai, soit faux (nous ne savons pas laquelle) et faire des énoncés de probabilité (fréquentistes) à propos de l'hypothèse nulle n'a pas de sens. Si vous voulez parler de la probabilité de l'hypothèse, faites des statistiques bayésiennes appropriées, utilisez la définition bayésienne de la probabilité, commencez par un préalable et calculez la probabilité a posteriori que l'hypothèse est vraie. Il suffit de ne pas confondre une valeur p avec un postérieur bayésien.

OK, un autre point de vue légèrement différent:

Un premier problème fondamental est l'expression "en raison de la chance [aléatoire]". L'idée de «hasard» non spécifié vient naturellement aux étudiants, mais il est dangereux de penser clairement à l'incertitude et catastrophique de faire des statistiques raisonnables. Avec quelque chose comme une séquence de pièces de monnaie, il est facile de supposer que le «hasard» est décrit par la configuration binomiale avec une probabilité de 0,5. Il y a certes un certain naturel à cela, mais d'un point de vue statistique ce n'est pas plus naturel que de supposer 0,6 ou autre chose. Et pour d’autres exemples moins «évidents», impliquant par exemple des paramètres réels, il est totalement inutile de penser à ce à quoi ressemblerait un «hasard».

En ce qui concerne la question, l’idée principale est de comprendre quelle sorte de «hasard» est décrit par H0, c’est-à-dire quel nom de vraisemblance / DGP H0. Une fois que ce concept est en place, les étudiants cessent enfin de parler de choses qui se passent «par hasard» et commencent à demander ce qu'est réellement H0. (Ils comprennent également que les choses peuvent être cohérentes avec une assez grande variété de H, ce qui leur donne une longueur d'avance sur les intervalles de confiance, via des tests inversés).

Le deuxième problème est que si vous êtes sur le chemin de la définition de Fisher des valeurs de p, vous devriez toujours (à mon humble avis) l'expliquer d'abord en termes de cohérence des données avec H0 car le point de p est de voir cela, pas d'interpréter la zone de la queue comme une sorte d’activité «fortuite» (ou franchement pour l’interpréter du tout). C'est purement une question de rhétorique, évidemment, mais cela semble aider.

En bref, le problème est que cette manière de décrire les choses ne se généralisera pas à un modèle non trivial auquel ils pourraient éventuellement réfléchir par la suite. Au pire, cela peut ajouter au sens du mystère que l’étude des statistiques génère déjà chez les types de personnes visées par de telles descriptions.

Si je sépare, "la valeur p est la probabilité qu'un effet soit dû au hasard", cela semble impliquer que l'effet est provoqué par le hasard. Mais chaque effet est partiellement dû au hasard. Dans une leçon de statistiques où l’on explique la nécessité d’essayer de voir au travers de la variabilité aléatoire, c’est une affirmation assez magique et débordante. Il imprègne des valeurs p avec des pouvoirs qu’ils n’ont pas.

Si vous définissez le hasard dans un cas spécifique comme étant l'hypothèse nulle, vous déclarez que la valeur p donne la probabilité que l'effet observé soit causé par l'hypothèse nulle. Cela semble terriblement proche de la déclaration exacte, mais prétendre qu'une condition sur la probabilité est la cause de cette probabilité est encore trop grande. L'affirmation correcte, à savoir que la valeur p est la probabilité de l'effet étant donné que l'hypothèse nulle est vraie, n'attribue pas de cause à l'effet nul. Les causes sont diverses, y compris l'effet réel, la variabilité autour de l'effet et le hasard. La valeur p ne mesure pas la probabilité de cela.