La valeur p est-elle une estimation ponctuelle?

Puisqu'on peut calculer des intervalles de confiance pour les valeurs p et que l'opposé de l'estimation d'intervalle est l'estimation ponctuelle: la valeur p est-elle une estimation ponctuelle?

confidence-interval estimation p-value estimators point-estimation 00schneider
la source

Je ne crois pas que l'on puisse calculer des intervalles de confiance pour une valeur p; c'est une statistique calculée à partir des données, pas un paramètre décrivant le processus de génération de données. Bien sûr, vous pouvez toujours demander quelles estimations statistiques.

Scortchi

@Scortchi: mais si je devais appliquer, par exemple, l'amorçage pour calculer une distribution de p-valeurs et construire ensuite un intervalle de pourcentages de 95% de cette distribution amorcée, alors si ce n'est pas un intervalle de confiance pour la p-valeur - ce qui est ça ?

amibe dit de réintégrer Monica

@ amoeba: un intervalle de confiance correspond à peu près à un paramètre inconnu, alors que votre intervalle d'amorçage correspond à une approximation d'une région de 95% pour une statistique.

Xi'an

@Scorthci: J'ai vu un logiciel imprimer des CI pour les valeurs p. Dans ce cas, les p-valeurs approximatives ont été calculées par des tests de permutation, donc si l'IC était trop large (ie valeur p

et p-valeur

), vous utiliserez plus permutations avant de faire des déductions.

\in [0, 0.05]

$\in [0, 0.05]$

\in [0.05, 1]

$\in [0.05, 1]$

Cliff AB

@Cliff Ce n'est pas un intervalle de confiance pour la p-valeur en tant que propriété d'une distribution: qui est un intervalle de confiance pour un estimateur stochastique de la valeur p d'un test pour un échantillon particulier. Bien qu'ils sonnent de manière similaire et que les deux soient des intervalles, ce sont des choses complètement différentes.

whuber

Réponses:

Les estimations ponctuelles et les intervalles de confiance correspondent aux paramètres décrivant la distribution, par exemple la moyenne ou l'écart type.

Mais contrairement à d'autres statistiques d'échantillon telles que la moyenne d'échantillon et l'écart type d'échantillon, la valeur p n'est pas un estimateur utile d'un paramètre de distribution intéressant. Regardez la réponse de @whuber pour les détails techniques.

La valeur p d'une statistique de test donne la probabilité d'observer un écart par rapport à la valeur attendue de la statistique de test au moins aussi grand que celui observé dans l'échantillon, calculé en supposant que l'hypothèse nulle est vraie. Si vous avez la distribution entière, elle est soit cohérente avec l'hypothèse nulle, soit elle ne l'est pas. Ceci peut être décrit avec une variable d'indicateur (voir la réponse de @whuber).

Mais la valeur p ne peut pas être utilisée comme un estimateur utile de la variable indicatrice car elle n’est pas cohérente, car elle ne converge pas car la taille de l’échantillon augmente si l’hypothèse nulle est vraie. Il s'agit d'une autre manière assez compliquée d'affirmer qu'un test statistique peut rejeter ou ne pas rejeter la valeur null, mais ne jamais le confirmer.

Erik
la source

La plupart des meilleurs comptes rendus de tests statistiques (Lehman, Kiefer, etc.) ne se réfèrent pas du tout à des "populations", mais décrivent plutôt la situation en termes d'estimation de paramètres de distributions. Cela n'exige pas que le caractère aléatoire soit uniquement dû à l'échantillonnage et permet ainsi à la théorie de s'appliquer plus largement aux situations où le caractère aléatoire fait partie d'un modèle .

whuber

Mais vous avez explicitement contredit l’affirmation selon laquelle "il n’ya aucune probabilité associée à la population". Veuillez noter également que tous les estimateurs sont "explicitement définis au niveau de l'échantillon". Il est donc difficile de déterminer la distinction que vous essayez de faire dans ce post.

whuber

Bien sûr! Mais une distribution n'est pas une population.

whuber

(-1) Je suis d'accord avec la réponse sensuelle commune de @ Tim et la réponse secrète de whuber, mais j'ai du mal à donner un sens à celle-ci. (1) "Mais la p-valeur n’est pas un paramètre de population car elle est explicitement définie au niveau de l’échantillon": cela vaut certainement la peine de le souligner, mais le "mais" donne l’impression que vous dites qu’une p-valeur peut Ne faites pas une estimation de quoi que ce soit, car il s’agit d’un échantillon statistique, comme si la moyenne de l’échantillon ne pouvait en être une estimation, car c’était un échantillon statistique. ...

Scortchi - Réintégration de Monica

(2) "C'est parce qu'il n'y a aucune probabilité associée à la population, elle est considérée comme fixe mais inconnue": (a) La valeur p n'est pas calculée à partir de l'échantillon car "il n'y a pas de probabilité [.. .] "; (b) comme l'a souligné @ whuber, l'échantillonnage d'une population finie est un cas particulier; (c) dans tous les cas, cela ne découle pas de ce que vous avez dit, à savoir que la valeur p ne donne aucune estimation de la population.

Scortchi - Réintégrer Monica

Oui, il pourrait être (et a été) soutenu qu'une valeur p est une estimation ponctuelle.

Afin d'identifier toute propriété d'une distribution qu'une valeur p peut estimer, nous devrions supposer qu'elle est asymptotiquement non biaisée. Mais, asymptotiquement, la p-valeur moyenne pour l'hypothèse nulle est (idéalement, car certains tests , il est peut - être un autre numéro différent de zéro) et pour toute autre hypothèse , il est . Ainsi, la valeur p pourrait être considérée comme un estimateur de la moitié de la fonction indicatrice pour l'hypothèse nulle. $1/2$ $0$

Certes, il faut un peu de créativité pour afficher une valeur p de cette manière. Nous pourrions faire un peu mieux en considérant l’estimateur en question comme la décision que nous prenons au moyen de la valeur p: la distribution sous-jacente est-elle un membre de l’hypothèse nulle ou de l’hypothèse alternative? Appelons cet ensemble de décisions possibles . Jack Kiefer écrit $D$

Nous supposons qu’il existe une expérience dont le statisticien peut observer les résultats. Ce résultat est décrit par une variable aléatoire ou un vecteur aléatoire .... Le statisticien ne connaît pas la loi de probabilité de , mais il est connu que la fonction de distribution de est membre d'une classe spécifiée de fonctions de distribution. ... $X$ $X$ $F$ $X$ $\Omega$

On dit qu'un problème statistique est un problème d' estimation ponctuelle si est la collection de valeurs possibles d'une propriété réelle ou à valeur vectorielle de qui dépend de de manière raisonnablement lisse. $D$ $F$ $F$

Dans ce cas, puisque est discret, "raisonnablement lisse" n'est pas une restriction du tout. La terminologie de Kiefer reflète cela en faisant référence à des procédures statistiques avec des espaces de décision discrets comme "tests" au lieu de "estimateurs ponctuels". $D$

Bien qu'il soit intéressant d'explorer les limites (et les limites) de telles définitions, comme cette question nous le demande, nous ne devrions peut-être pas insister trop sur le fait qu'une valeur p est un estimateur ponctuel, car cette distinction entre estimateurs et tests est à la fois: utile et conventionnel.

Dans un commentaire sur cette question, Christian Robert a attiré l'attention sur un article de 1992 dans lequel lui-même et ses coauteurs avaient exactement pris ce point de vue et analysé l'admissibilité de la valeur p en tant qu'estimateur de la fonction indicateur . Voir le lien dans les références ci-dessous. Le papier commence

Les approches de test d'hypothèse ont généralement traité le problème du test comme un problème de prise de décision plutôt que d'estimation. Plus précisément, un test d'hypothèse formelle permettra de déterminer si une hypothèse est vraie et ne fournira pas une mesure d'éléments de preuve à associer à cette conclusion. Dans cet article, nous considérons le test d'hypothèse comme un problème d'estimation dans un cadre de décision théorique ....

[Je souligne.]

Les références

Jiunn Tzon Hwang, George Casella, Christian Robert, Martin T. Wells et Roger H. Farrell, Estimation de la précision des tests . Ann. Statist. Volume 20, numéro 1 (1992), 490-509. Accès ouvert .

Jack Carl Kiefer, Introduction à l'inférence statistique . Springer-Verlag, 1987.

whuber
la source

Hmm. Je ne suis pas sûr si cette vue est utile. Pour l'un dans ce sens, la valeur p n'est pas un bon estimateur, car elle n'est pas cohérente si l'hypothèse nulle est vraie. Et dans certains cas (vous en parlez), il existe également un biais dépendant de la taille de l'échantillon. C'est peut-être vrai sur le plan technique, mais n'importe quel nombre aléatoire pourrait être un estimateur (terrible) pour n'importe quel paramètre.

Erik

La question ne demande pas si la valeur p est un bon estimateur, @Erik. En tant qu’estimateur, il présente des lacunes évidentes. Par exemple, sa variance asymptotique pour l'hypothèse nulle est non nulle. Veuillez noter que le biais de presque tous les estimateurs non biaisés dépend de la taille de l'échantillon. Bien que vous ayez raison de dire qu'un nombre aléatoire indépendant pourrait être considéré comme un estimateur, il s'agirait d'un estimateur de quelque chose de différent: il évaluerait sa propre moyenne (par définition). Vos objections ne semblent donc pas avoir de pertinence pour la question à traiter.

whuber

@Erik, je ne pense pas que nous différions sur aucun de ces points, sauf peut-être la partie "inutile". Comme Nick Cox le fait remarquer dans un commentaire ailleurs dans ce fil, il est néanmoins intéressant de réfléchir au sens dans lequel une valeur p pourrait être considérée comme un estimateur et à ce qu'elle pourrait être exactement. Cela peut nous aider à comprendre un peu mieux ce qu'est une valeur-p (et ne l'est pas). Beaucoup considéreraient cela comme un exercice utile .

whuber

Dans un article de 1992 , nous étudions la valeur

en tant qu’estimateur de la fonction indicatrice

et démontrons qu’il peut être un estimateur admissible pour une hypothèse unilatérale et ne peut pas être admissible pour des hypothèses bilatérales.

p

$p$

I_{Θ_{0}} (θ)

$\mathbb{I}_{\Theta_0}(\theta)$

Xi'an

@ Xi'an Je vois que nous ne sommes que 23 ans derrière vous .... Merci pour la référence!

whuber

valeurs $p$ ne sontutiliséespour estimer aucun paramètre d'intérêt, mais pour tester des hypothèses. Par exemple, vous pourriez être intéressé par l'estimation de la population fonction de votre échantillon, ou par son intervalle, mais dans le scénario de test d'hypothèse, comparez la moyenne de l'échantillon à la moyenne de la population pour voir si ils diffèrent. En fait, dans le scénario de test d'hypothèse,leurs valeurs particulièresne vousintéressentpas, mais plutôt si elles sont inférieures à un seuil (par exemple, ). Avec $\mu$ $\overline x$ $\mu$ $p < 0.05$ $p$ -values vous ne vous intéressez pas beaucoup à leurs valeurs en points, mais vous voulez plutôt savoir si vos données fournissent suffisamment de preuves contre une hypothèse nulle. Dans le scénario de test d'hypothèses, vous ne compareriez pas différentes valeurs les unes aux autres, mais utiliseriez plutôt chacune d'elles pour prendre des décisions distinctes concernant vos hypothèses. Vous ne voulez vraiment rien savoir de l'hypothèse de coque, autant que vous sachiez si vous pouvez la rejeter ou non. Cela rend leurs valeurs indissociables du contexte de la décision et elles diffèrent donc des estimations ponctuelles car, avec les estimations ponctuelles, nous nous intéressons à leurs valeurs en tant que telles. $p$

Tim
la source

Votre déclaration initiale fait correctement écho à la manière dont les choses sont souvent expliquées, mais elle n’en reste pas moins assez profonde. Un fait fondamental ici est la variation de l’échantillonnage, la variabilité d’un échantillon à l’autre. Prenez un échantillon différent et votre valeur de p sera différente. Il faut un peu d’ingéniosité pour voir précisément ce qu’il estime, et il n’est pas conventionnel de l’expliquer comme une estimation de paramètre, mais ce point de vue est parfaitement logique. Voir la réponse intéressante de @ whuber. (Tout le territoire est jonché de paraphrases boueuses inspirées par la nécessité de simplifier l'enseignement.)

Nick Cox

La façon dont les termes sont utilisés est intéressante et importante (et une préoccupation personnelle, en passant). La question reste de savoir quelle est la valeur de p . Ceci aussi est souligné [jeu de mots inévitable ici] ailleurs dans ce fil. Il est utile de considérer les paramètres comme des inconnues apparaissant dans une spécification de modèle, mais il existe aussi d'autres inconnues.

Nick Cox

@ Tim, je pense que cette affirmation (d'après votre dernier commentaire) est presque toujours fausse, du moins en biologie. Les gens sont très intéressés par la valeur des valeurs p, marquant

avec une, deux ou trois étoiles sur les chiffres, écrivant sur quelque chose de "hautement significatif", etc. Il est également recommandé de signaler les valeurs p exactes, par exemple

et non

. Ce n'est que très rarement que les gens adhèrent au strict cadre de Neyman-Pearson, choisissent

à l'avance et signalent toutes les p-valeurs sous la forme

p < 0.05

$p<0.05$

p < 0.01

$p<0.01$

p < 0.001

$p<0.001$

p = 0.003

$p=0.003$

p < 0.05

$p<0.05$

α

$\alpha$

p < α

$p<\alpha$

amibe dit de réintégrer Monica

Cette question recoupe de nombreuses autres, dont la plupart sont très controversées. L'une est l'idéalisation que le but d'un test est de prendre une décision par oui ou par non, ce qui ne correspond pas à tous les problèmes. Un autre fait important est que, pendant des décennies, les personnes ont utilisé les tableaux publiés à partir de tableaux imprimés et que les valeurs P exactes étaient hors de portée alors que les personnes n’utilisaient pas d’ordinateur.

Nick Cox

@ 00schneider: Si vous voyez un intervalle donné pour les valeurs p, il est très peu probable qu'il s'agisse d'un intervalle de confiance pour le paramètre de population défini par whuber. Le point de Tim est qu'il n'est pas nécessaire de les considérer comme une estimation , aussi intéressante soit-elle, de le faire.

Scortchi