Comment choisir le niveau de signification pour un grand ensemble de données?

Je travaille avec un ensemble de données ayant N environ 200 000. Dans les régressions, je vois des valeurs de signification très faibles << 0,001 associées à de très petites tailles d'effet, par exemple r = 0,028. Ce que j'aimerais savoir, est-ce qu'il existe un moyen de principe de décider d'un seuil de signification approprié par rapport à la taille de l'échantillon? Y a-t-il d'autres considérations importantes concernant l'interprétation de la taille de l'effet avec un échantillon aussi grand?

regression probability statistical-significance sample-size ted.strauss
la source

Il s'agit d'une question d'importance pratique ou statistique. Si la pente est vraiment différente de 0, même d'une infime quantité (par exemple, 000000000000001), un échantillon suffisamment grand donnera une valeur

très minuscule

p

$p$ , malgré le résultat n'ayant aucune signification pratique. Vous feriez mieux d'interpréter l'estimation ponctuelle plutôt que la valeur

p

$p$ lorsque vous avez une taille d'échantillon aussi grande.

Macro

@Macro désolé pouvez-vous clarifier ce que vous entendez par estimation ponctuelle ici?

ted.strauss

Pour ajouter au commentaire de Macro ci-dessus, dans cette situation, je recherche une signification "pratique" ou "clinique" dans les résultats. Pour ce que vous faites, l'effet est-il suffisamment important pour que vous vous en souciez?

Michelle

L'estimation ponctuelle est l'estimation de la pente de régression observée.

Macro

Ce que @Macro et moi disons tous les deux, c'est que vous devez décider si l'effet clinique (estimations ponctuelles, pentes) est important. Votre seuil est basé sur la décision "oui, c'est un effet clinique important" plutôt que "une valeur p significative" car la plupart (toutes?) De vos valeurs p sont significatives.

Michelle

Réponses:

Dans L'insignifiance du test de signification , Johnson (1999) a noté que les valeurs de p sont arbitraires, en ce que vous pouvez les rendre aussi petites que vous le souhaitez en collectant suffisamment de données, en supposant que l'hypothèse nulle est fausse, ce qui est presque toujours le cas. Dans le monde réel, il est peu probable qu'il y ait des corrélations semi-partielles qui sont exactement nulles, ce qui est l'hypothèse nulle pour tester la signification d'un coefficient de régression. Les seuils de signification de la valeur P sont encore plus arbitraires. La valeur de .05 comme seuil entre la signification et la non-signification est utilisée par convention, pas par principe. La réponse à votre première question est donc non, il n'y a aucun moyen de principe de décider d'un seuil de signification approprié.

Alors, que pouvez-vous faire, compte tenu de votre grand ensemble de données? Cela dépend de vos raisons d'explorer la signification statistique de vos coefficients de régression. Essayez-vous de modéliser un système multifactoriel complexe et de développer une théorie utile qui cadre ou prédit raisonnablement la réalité? Ensuite, vous pourriez peut-être penser à développer un modèle plus élaboré et à y prendre une perspective de modélisation, comme décrit dans Rodgers (2010), The Epistemology of Mathematical And Statistical Modeling . Un avantage d'avoir beaucoup de données est la possibilité d'explorer des modèles très riches, à plusieurs niveaux et avec des interactions intéressantes (en supposant que vous ayez les variables pour le faire).

Si, d'autre part, vous voulez juger s'il convient de traiter un coefficient particulier comme statistiquement significatif ou non, vous pouvez prendre la suggestion de Good (1982) résumée dans Woolley (2003) : Calculez la valeur q comme qui standardise les valeurs de p à une taille d'échantillon de 100. Une valeur de p de 0,001 exactement se transforme en une valeur de p de 0,045 - statistiquement significative encore. $p\cdot\sqrt{(n/100)}$

Donc, si c'est important en utilisant un seuil arbitraire ou un autre, qu'en est-il? S'il s'agit d'une étude d'observation, vous avez beaucoup plus de travail pour justifier qu'elle est réellement significative dans votre façon de penser et pas seulement une fausse relation qui apparaît parce que vous avez mal spécifié votre modèle. Notez qu'un petit effet n'est pas aussi intéressant sur le plan clinique s'il représente des différences préexistantes entre des personnes choisissant différents niveaux de traitement plutôt qu'un effet de traitement.

Vous devez déterminer si la relation que vous voyez est pratiquement significative, comme l'ont noté les commentateurs. La conversion des chiffres que vous citez de en pour expliquer la variance ( est la corrélation, la mettre au carré pour obtenir la variance expliquée) donne respectivement 3 et 6% de variance expliquée, ce qui ne semble pas beaucoup. $r$ $r^2$ $r$

Anne Z.
la source

@ rolando2 merci pour la modification, toujours confondu entre les valeurs p grandes / petites! Je pense que si c'est à droite de la distribution, c'est grand, mais la valeur de p est petite.

Anne Z.

(+1) Il s'agit d'un fait important auquel de nombreux praticiens ne réfléchissent pas attentivement: "Les valeurs de p sont arbitraires, en ce que vous pouvez les rendre aussi petites que vous le souhaitez en rassemblant suffisamment de données, en supposant que l'hypothèse nulle est fausse, ce qu'elle est presque toujours. "

Macro

Je vous remercie! Les points de votre avant-dernier paragraphe sont bien pris en compte. Je lis l'article Woolley et j'ai remarqué que votre formule de valeur q est désactivée. Ce devrait être p * pas p / - J'ai essayé de le changer ici mais les modifications doivent être> 6 caractères.

ted.strauss

@ ted.strauss Je suis content que ce soit utile. Parfois, je me sens découragé par les limites des outils comme les valeurs p avec lesquelles nous devons travailler. Merci d'avoir noté l'erreur dans la formule, je l'ai corrigée.

Anne Z.

Merci pour la merveilleuse réponse. Mais je ne suis pas en mesure d'accéder au document Woolley 2003 en utilisant le lien fourni ci-dessus.

KarthikS

-3

Je suppose qu'un moyen facile de vérifier serait d'échantillonner au hasard un nombre tout aussi important de ce que vous savez être une distribution deux fois et de comparer les deux résultats. Si vous faites cela plusieurs fois et observez des valeurs de p similaires, cela suggère qu'il n'y a pas d'effet réel. Si d'un autre côté vous ne le faites pas, alors il y en a probablement.

Lars Kotthoff
la source

p

$p$

< .001

$<.001$

p

$p$

p

$p$

p

$p$

U n i f o r m (0, 1)

${\rm Uniform}(0,1)$

H_{0}

$H_0$

p

$p$

U [0, 1]

$U[0,1]$

T = T (X)

$T=T(X)$

t = t (x)

$t=t(x)$

p

$p$

p (t) = P (T \geq t ∣ H_{0})

$p(t)=\mathbb{P}(T\geq t\mid H_0)$

H_{0}

$H_0$

T

$T$

G_{0}

$G_0$

G_{0}

$G_0$

G_{0}^{- 1}

$G_0^{-1}$

p (t) = 1 - G_{0} (t)

$p(t)=1-G_0(t)$

u \in [0, 1]

$u\in[0,1]$

P (p (T) \leq u) = P (1 - g_{0} (T) \leq u) = P (g_{0} (T) \geq 1 - u) = P (T \geq g_{0}^{- 1} (1 - u)) = 1 - g_{0} (g_{0}^{- 1} (1 - u)) = u .

$\mathbb{P}(p(T)\leq u) = \mathbb{P}(1-G_0(T)\leq u) = \mathbb{P}(G_0(T)\geq 1-u) = \mathbb{P}(T\geq G_0^{-1}(1-u)) = 1-G_0(G_0^{-1}(1-u))=u \, .$

p (T) ∣ H_{0} \sim U [0, 1]

$p(T)\mid H_0\sim U[0,1]$