Pourquoi les gens utilisent-ils les valeurs p au lieu de calculer la probabilité du modèle à partir des données?

En gros, une valeur-p donne une probabilité du résultat observé d'une expérience étant donné l'hypothèse (modèle). Ayant cette probabilité (valeur p), nous voulons juger notre hypothèse (quelle est sa probabilité). Mais ne serait-il pas plus naturel de calculer la probabilité de l'hypothèse en fonction du résultat observé?

En plus de détails. Nous avons une pièce de monnaie. Nous le retournons 20 fois et nous obtenons 14 têtes (14 sur 20, c’est ce que j’appelle "le résultat de l’expérience"). Maintenant, notre hypothèse est que la pièce est juste (les probabilités de tête et de queue sont égales). Maintenant, nous calculons la valeur p, qui est égale à la probabilité d'obtenir 14 têtes ou plus sur 20 lancers de pièce. OK, maintenant nous avons cette probabilité (0,058) et nous voulons utiliser cette probabilité pour juger notre modèle (comment est-il probable que nous ayons une pièce équitable)?

Mais si nous voulons estimer la probabilité du modèle, pourquoi ne calculons-nous pas la probabilité du modèle compte tenu de l'expérience? Pourquoi calculons-nous la probabilité de l'expérience en fonction du modèle (valeur p)?

Calculer la probabilité que l'hypothèse soit correcte ne cadre pas avec la définition fréquentiste de la probabilité (une fréquence à long terme), qui a été adoptée pour éviter la subjectivité supposée de la définition bayésienne de la probabilité. La vérité d'une hypothèse particulière n'est pas une variable aléatoire, elle est vraie ou non et n'a pas de fréquence à long terme. Il est en effet plus naturel de s’intéresser à la probabilité de vérité de l’hypothèse, ce qui est à mon humble avis pourquoi les valeurs p sont souvent interprétées à tort comme la probabilité que l’hypothèse nulle soit vraie. Une partie de la difficulté provient de la règle de Bayes: nous savons que pour calculer la probabilité postérieure qu’une hypothèse est vraie, vous devez commencer par une probabilité a priori que cette hypothèse est vraie.

Un bayésienne serait calculer la probabilité que l'hypothèse est vraie, compte tenu des données (et son / sa croyance avant).

Le choix entre les approches fréquentiste et bayésienne consiste essentiellement à déterminer si la subjectivité supposée de l'approche bayésienne est plus odieuse que le fait que l'approche fréquentiste ne donne généralement pas de réponse directe à la question que vous voulez poser - mais il y a place pour tous les deux.

Dans le cas où l'on demande si une pièce est juste, c'est-à-dire que la probabilité d'une tête est égale à la probabilité d'une queue, nous avons également un exemple d'une hypothèse que nous savons dans le monde réel est presque certainement fausse dès le départ. Les deux faces de la pièce étant non symétriques, nous devrions nous attendre à une légère asymétrie dans les probabilités de têtes et de queues. Ainsi, si la pièce "réussit" le test, cela signifie simplement que nous n'avons pas assez d'observations pour pouvoir concluez ce que nous savons déjà être vrai: la pièce est très légèrement biaisée!

Rien de tel que de répondre à une question très ancienne, mais voici ...

Les valeurs p sont des tests d'hypothèses presque valides. Voici un extrait légèrement adapté tiré du livre de Jaynes sur la théorie des probabilités de 2003 (Expériences répétitives: probabilité et fréquence). Supposons que nous ayons une hypothèse nulle que nous souhaitons tester. Nous avons des données D et des informations avant I . Supposons qu'il existe une hypothèse non spécifiée H A avec laquelle nous testerons H 0 . Le rapport de cotes postérieur pour H A contre H 0 est alors donné par:$H_0$$D$$I$$H_A$$H_0$$H_A$$H_0$

$$\frac{P(H_A|DI)}{P(H_0|DI)}=\frac{P(H_A|I)}{P(H_0|I)}\times\frac{P(D|H_AI)}{P(D|H_0I)}$$

Le premier terme à droite étant indépendant des données, les données ne peuvent influencer le résultat que via le second terme. Maintenant, nous pouvons toujours inventer une hypothèse alternative telle que P ( D | H A I I ) = 1 - une hypothèse "d’ajustement parfait". Ainsi, nous pouvons utiliser $H_A$$P(D|H_AI)=1$ comme mesure de la mesure dans laquelle les données pourraient corroborer toute hypothèse alternative sur la valeur nulle. Il n’existe pas d’hypothèse alternative selon laquelle les données pourraient corroborerH0de plus de$\frac{1}{P(D|H_0I)}$$H_0$ . Nous pouvons également restreindre la classe des alternatives et le changement est que le1est remplacé par la vraisemblance maximisée (y compris les constantes de normalisation) au sein de cette classe. SiP(D|H0I)commence à devenir trop petit, nous commençons à douter du zéro, car le nombre d'alternatives entreH0etHAaugmente (y compris certaines avec des probabilités a priori non négligeables). Mais c’est à peu près ce qui est fait avec les valeurs p, mais à une exception près: nous ne calculons pas la probabilité pourt$\frac{1}{P(D|H_0I)}$$1$$P(D|H_0I)$$H_0$$H_A$ pour une statistique t ( D ) et une "mauvaise" région de la statistique. Nous calculons la probabilité de D - les informations dont nous disposons, plutôt que d’un sous-ensemble de celles-ci, t ( D ) .$t(D)>t_0$$t(D)$$D$$t(D)$

Une autre raison pour laquelle les utilisateurs utilisent les valeurs p est qu’elles s’apparentent souvent à un test d’hypothèse «approprié», mais peuvent être plus faciles à calculer. Nous pouvons montrer cela avec l'exemple très simple du test de la moyenne normale avec une variance connue. Nous avons des données avec un modèle supposée x i ~ N o r m a l ( μ , σ 2 ) (partie de l'information avant I ). Nous voulons tester H 0 : μ = μ $D\equiv\{x_1,\dots,x_N\}$$x_i\sim Normal(\mu,\sigma^2)$$I$$H_0:\mu=\mu_0$. Ensuite, nous avons, après un petit calcul:

$$P(D|H_0I)=(2\pi\sigma^2)^{-\frac{N}{2}}\exp\left(-\frac{N\left[s^2+(\overline{x}-\mu_0)^2\right]}{2\sigma^2}\right)$$

Où ets2=$\overline{x}=\frac{1}{N}\sum_{i=1}^{N}x_i$. Cela montre que la valeur maximale deP(D|H0I)sera atteinte lorsqueμ0= ¯ x . La valeur maximisée est:$s^2=\frac{1}{N}\sum_{i=1}^{N}(x_i-\overline{x})^2$$P(D|H_0I)$$\mu_0=\overline{x}$

$$P(D|H_AI)=(2\pi\sigma^2)^{-\frac{N}{2}}\exp\left(-\frac{Ns^2}{2\sigma^2}\right)$$

Nous prenons donc le rapport de ces deux et nous obtenons:

$$\frac{P(D|H_AI)}{P(D|H_0I)}=\frac{(2\pi\sigma^2)^{-\frac{N}{2}}\exp\left(-\frac{Ns^2}{2\sigma^2}\right)}{(2\pi\sigma^2)^{-\frac{N}{2}}\exp\left(-\frac{Ns^2+N(\overline{x}-\mu_0)^2}{2\sigma^2}\right)}=\exp\left(\frac{z^2}{2}\right)$$

Où est la "statistique Z". Grandes valeurs de| z| jeter le doute sur l'hypothèse nulle, relative à l'hypothèse de la moyenne normale qui est le plus fortement étayée par les données. Nous pouvons également constater que ¯ x est la seule partie des données nécessaire et constitue donc une statistique suffisante pour le test.$z=\sqrt{N}\frac{\overline{x}-\mu_0}{\sigma}$$|z|$$\overline{x}$

L’approche p-value de ce problème est presque la même, mais en sens inverse. Nous commençons par la statistique suffisante , et nous caluclate sa distribution d'échantillonnage, qui est facile de démontrer que ¯ X ~ N o r m a l ( μ , σ $\overline{x}$- où j'ai utilisé une lettre majuscule pour distinguer la variable aléatoire¯Xde la valeur observée¯x. Maintenant, nous devons trouver une région qui jette un doute sur l'hypothèse nulle: on voit facilement qu'il s'agit des régions où| ¯X-μ0| est large. Nous pouvons donc calculer la probabilité que| ¯X-μ0| ≥| ¯x-μ0| comme une mesure de la distance entre les données observées et l'hypothèse nulle. Comme auparavant, ceci est un calcul simple, et nous obtenons:$\overline{X}\sim Normal\left(\mu,\frac{\sigma^2}{N}\right)$$\overline{X}$$\overline{x}$$|\overline{X}-\mu_0|$$|\overline{X}-\mu_0|\geq |\overline{x}-\mu_0|$

= 1 - P [ -

$$\text{p-value}=P(|\overline{X}-\mu_0|\geq |\overline{x}-\mu_0||H_0)$$ =1-P(-|z|≤Z≤|z||H0)=2[1-Φ(|z|) $$=1-P\left[-\sqrt{N}\frac{|\overline{x}-\mu_0|}{\sigma}\leq\sqrt{N}\frac{\overline{X}-\mu_0}{\sigma}\leq \sqrt{N}\frac{|\overline{x}-\mu_0|}{\sigma}|H_0\right]$$ $$=1-P(-|z|\leq Z\leq |z||H_0)=2\left[1-\Phi(|z|)\right]$$

Maintenant, nous pouvons voir que la valeur p est une fonction décroissante monotone de , ce qui signifie que nous obtenons essentiellement la même réponse que le test d’hypothèse "correct". Le rejet lorsque la valeur p est inférieure à un certain seuil revient au même que le rejet lorsque la probabilité postérieure est supérieure à un certain seuil. Cependant, notez que pour faire le test approprié, nous devions définir la classe de solutions de remplacement et maximiser la probabilité pour cette classe. Pour la valeur p, nous devons trouver une statistique, calculer sa distribution d'échantillonnage et l'évaluer à la valeur observée. Dans un certain sens, choisir une statistique revient à définir l’hypothèse alternative que vous envisagez.$|z|$

Bien que les deux choses soient faciles à faire dans cet exemple, elles ne le sont pas toujours dans des cas plus compliqués. Dans certains cas, il peut être plus facile de choisir la bonne statistique à utiliser et de calculer sa distribution d'échantillonnage. Dans d’autres, il peut être plus facile de définir la classe d’alternatives et de la maximiser.

Cet exemple simple représente une grande quantité de tests basés sur des valeurs p, tout simplement parce que beaucoup de tests d'hypothèses sont de la variété "normale approximative". Il fournit également une réponse approximative à votre problème de pièces (en utilisant l'approximation normale du binôme). Cela montre également que les valeurs p dans ce cas ne vous égareront pas, du moins en termes de test d'une seule hypothèse. Dans ce cas, nous pouvons dire qu'une valeur p est une mesure de la preuve par rapport à l'hypothèse nulle.

$0.1$$9$$3.87$$0.05$$19$$6.83$$0.1$$2.33$$0.05$$2.78$

En tant qu'ancien universitaire qui a commencé à pratiquer, je vais tenter ma chance. Les gens utilisent les p-values ​​parce qu'elles sont utiles. Vous ne pouvez pas le voir dans les exemples classiques de pièces de monnaie. Bien sûr, ils ne sont pas vraiment solides sur le plan fondamental, mais peut-être que ce n'est pas aussi nécessaire que nous aimons penser lorsque nous pensons de manière académique. Dans le monde des données, nous sommes entourés d'un nombre infini de choses possibles à examiner. Avec les calculs de valeur p, vous avez besoin de tout ce dont vous avez besoin pour avoir une idée de ce qui est inintéressant et d’une heuristique numérique pour déterminer le type de données qui pourrait être intéressant (ainsi qu’un modèle de probabilité pour inintéressant). Ensuite, individuellement ou collectivement, nous pouvons analyser des choses assez simples, en rejetant l'essentiel des inintéressants. La valeur p nous permet de dire "Si je ne mets pas beaucoup de priorité à penser à cela autrement,

Votre question est un excellent exemple de raisonnement fréquentiste et est en réalité assez naturelle. J'ai utilisé cet exemple dans mes cours pour démontrer la nature des tests d'hypothèse. Je demande à un volontaire de prédire les résultats d'un tirage au sort. Peu importe le résultat, j'enregistre une estimation "correcte". Nous faisons cela à plusieurs reprises jusqu'à ce que la classe devienne suspecte.

Maintenant, ils ont un modèle nul en tête. Ils supposent que la pièce est juste. Étant donné que l'hypothèse de 50% est correcte lorsque tout est juste, chaque supposition correcte successive suscite de plus en plus de suspicions que le modèle de pièce équitable est incorrect. Quelques hypothèses correctes et ils acceptent le rôle du hasard. Après 5 ou 10 suppositions correctes, la classe commence toujours à se douter que le risque d'une pièce équitable est faible. Il en va ainsi de la nature des tests d’hypothèses dans le modèle fréquentiste.

C’est une représentation claire et intuitive de la prise en charge des hypothèses par les fréquentistes. C'est la probabilité des données observées étant donné que le zéro est vrai. C'est en fait tout à fait naturel, comme le montre cette expérience facile. Nous prenons pour acquis que le modèle est à 50-50, mais comme les preuves s’enrichissent, je rejette ce modèle et soupçonne qu’il ya autre chose en jeu.

Donc, si la probabilité de ce que j’observe est faible compte tenu du modèle que j’assume (la valeur p), j’ai une certaine confiance dans le rejet de mon modèle supposé. Ainsi, une valeur p est une mesure utile de la preuve par rapport à mon modèle supposé, en prenant en compte le rôle du hasard.

Un disclaimer: J'ai tiré cet exercice d'un article oublié depuis longtemps, ce dont je me souviens, était l'un des journaux de l'ASA.

"En gros, la valeur p donne une probabilité du résultat observé d'une expérience étant donné l'hypothèse (modèle)."

mais ce n'est pas le cas. Pas même grossièrement - cela fausse une distinction essentielle.

Le modèle n'est pas spécifié, comme le souligne Raskolnikov, mais supposons que vous parliez d'un modèle binomial (lancers de pièces indépendants, biais de pièces inconnu). L'hypothèse est l'affirmation selon laquelle le paramètre pertinent dans ce modèle, le biais ou la probabilité des têtes, est 0,5.

"Avec cette probabilité (valeur p), nous voulons juger notre hypothèse (quelle est sa probabilité)"

Nous pouvons en effet vouloir porter ce jugement, mais une valeur-p ne nous aidera pas (et n’a pas été conçue pour).

"Mais ne serait-il pas plus naturel de calculer la probabilité de l'hypothèse en fonction du résultat observé?"

Peut-être que ce serait. Voir toute la discussion de Bayes ci-dessus.

"[...] Maintenant, nous calculons la valeur p, qui est égale à la probabilité d'obtenir 14 têtes ou plus sur 20 lancers de pièces. OK, maintenant nous avons cette probabilité (0,058) et nous voulons utiliser cette probabilité pour: juger notre modèle (comment est-il probable que nous ayons une pièce équitable) ".

'de notre hypothèse, en supposant que notre modèle soit vrai', mais essentiellement: oui. Des valeurs p élevées indiquent que le comportement de la pièce correspond à l'hypothèse selon laquelle elle est juste. (Ils concordent généralement avec l'hypothèse fausse, mais ils sont si proches de la réalité que nous n'avons pas assez de données pour le savoir; voir «pouvoir statistique».)

"Mais si nous voulons estimer la probabilité du modèle, pourquoi ne calculons-nous pas la probabilité du modèle à partir de l'expérience? Pourquoi calculons-nous la probabilité de l'expérience à l'aide du modèle (valeur p)?"

En réalité, nous ne calculons pas la probabilité des résultats expérimentaux étant donné l'hypothèse de cette configuration. Après tout, la probabilité n'est que d'environ 0,176 de voir exactement 10 têtes lorsque l'hypothèse est vraie, et c'est la valeur la plus probable. Ce n'est pas une quantité d'intérêt du tout.

Il est également important de ne pas non plus estimer la probabilité du modèle. Les réponses fréquentistes et bayésiennes supposent généralement que le modèle est vrai et font leurs déductions sur ses paramètres. En fait, tous les Bayésiens ne seraient même pas en principe intéressés par la probabilité du modèle, à savoir: la probabilité que toute la situation soit bien modélisée par une distribution binomiale. Ils peuvent faire beaucoup de vérification de modèle, mais ne demandent jamais réellement quelle est la probabilité que le binôme soit dans l'espace d'autres modèles possibles. Les Bayésiens qui se soucient de Bayes Factors sont intéressés, les autres moins.

Une note à côté des autres excellentes réponses: il arrive parfois que nous ne le faisons pas. Par exemple, jusqu'à tout récemment, ils étaient totalement interdits dans la revue Epidemiology . Aujourd'hui, ils sont simplement "fortement découragés" et le comité de rédaction a consacré énormément de temps à leur discussion ici: http: //journals.lww. com / epidem / pages / collectiondetails.aspx? TopicalCollectionId = 4

$p$

• $p$

• $p$

• $p$

Définir la probabilité . Je suis sérieux. Avant de continuer, nous devons nous mettre d’accord.

$D$$M$

$P(M|D)$$P(M,D)$

$\cdot$$10^6/28\cdot10^9$

Dans le monde pratique, par exemple avec des problèmes de santé et leur fonctionnement, vous ne pourrez peut-être pas inventer aucun de ces composants de la distribution articulaire et vous ne pourrez pas conditionner.

$P(M,D)$$p=0.5$$P(p=0.5)=0$$B(0.5,0.5)$$B(1000,1000)$$0.5$$28\cdot10^9/(28\cdot10^9 + 10^6)$

Outre les difficultés à définir exactement quels sont les bons modèles, les méthodes bayésiennes disposent de moyens limités pour traiter les erreurs de spécification des modèles. Si vous n'aimez pas les erreurs gaussiennes, ou si vous ne croyez pas en l'indépendance des lancers de pièces (votre main se fatigue après les 10 000 premiers lancers environ, vous ne devez donc pas le lancer aussi haut que les 1 000 premiers fois, ce qui peut influer sur les probabilités), tout ce que vous pouvez faire dans le monde bayésien est de construire un modèle plus compliqué - prior cassant le bâton pour les mélanges normaux, splines dans les probabilités dans le temps, peu importe. Mais il n’existe pas d’erreurs standard analogues au sandwich de Huber analogues qui reconnaissent explicitement que le modèle peut être mal spécifié, et sont prêtes à en tenir compte.

$<\Omega,{\mathcal F},P>$$\Omega$$\mathcal F$$\sigma$$P$$A\subset \Omega$$A\in\mathcal F$$X_t, t\in[0,1]$$\{ X_t > 0, t\in[0,0.5]\}$$\{ X_t > 0, t\in\{t_1, t_2, \ldots, t_k\}\}$$k$$\sigma$

Mais si nous voulons estimer la probabilité du modèle, pourquoi ne calculons-nous pas la probabilité du modèle compte tenu de l'expérience?

Parce qu'on ne sait pas comment. Il existe un nombre infini de modèles possibles et leur espace de probabilité n'est pas défini.

Voici un exemple pratique. Disons que je veux prévoir le PIB américain. Je reçois la série chronologique, et correspond à un modèle. Quelle est la probabilité que ce modèle soit vrai?

$$\Delta\ln y_t=\mu+e_t$$ $\mu$$e_t$

$$\ln y_t = c t+ e_t$$ $c$

$\mu$