Comment un test t peut-il être statistiquement significatif si la différence moyenne est proche de 0?

10

J'essaie de comparer les données de 2 populations pour savoir si la différence entre les traitements est statistiquement significative. Les ensembles de données semblent être normalement distribués avec très peu de différence entre les deux ensembles. La différence moyenne est de 0,00017. J'ai effectué un test t par paires, en m'attendant à ne pas rejeter l'hypothèse nulle de non différence entre les moyennes, cependant, ma valeur t calculée est beaucoup plus élevée que ma valeur t critique.

Kscicc26
la source
Sur quoi voulez-vous des suggestions? Quels sont vos N?
gung - Rétablir Monica
salut, je ne suis pas vraiment sûr de savoir comment procéder, si j'ai fait quelque chose de mal pour commencer, car les données ne semblent pas du tout différentes. Les deux groupes ont 335 observations
Kscicc26
5
L'erreur-type de la différence de moyenne est également fonction des écarts-types et des tailles d'échantillon. Toutes ces pièces devraient être dans votre question avant que toute surprise ne puisse être enregistrée.
Glen_b -Reinstate Monica
7
Chaque différence est "presque 0"! Si la variable de résultat est le gain de poids des personnes et qu'il est mesuré en livres, alors 0,00017 est petit en effet, mais s'il est mesuré en millions de livres, alors 0,00017 est énorme. Cette question n'a donc de sens que lorsqu'un contexte - ce qui est mesuré dans la réponse - et une unité de mesure sont fournis.
whuber
1
La signification statistique ne signifie pas «signification» dans le sens anglais plus large de la signification.
david25272

Réponses:

9

Je ne vois aucune raison de croire que vous avez fait quelque chose de mal simplement parce que le test était significatif, même si la différence moyenne est très faible. Dans un test t apparié, l'importance sera déterminée par trois éléments:

  1. l'ampleur de la différence moyenne
  2. la quantité de données dont vous disposez
  3. l'écart type des différences

Certes, votre différence moyenne est très, très petite. D'un autre côté, vous disposez d'une bonne quantité de données (N = 335). Le dernier facteur est l'écart type des différences. Je ne sais pas ce que c'est, mais puisque vous avez obtenu un résultat significatif, il est sûr de supposer qu'il est suffisamment petit pour surmonter la petite différence moyenne avec la quantité de données dont vous disposez. Pour construire une intuition, imaginez que la différence appariée pour chaque observation de votre étude était de 0,00017, alors l'écart-type des différences serait de 0. Il serait certainement raisonnable de conclure que le traitement a conduit à une réduction (bien que minuscule).

Comme @whuber le note dans les commentaires ci-dessous, il convient de souligner que bien que 0,00017 semble être un très petit nombre en tant que nombre, il n'est pas nécessairement petit en termes significatifs. Pour le savoir, nous aurions besoin de savoir plusieurs choses, premièrement quelles sont les unités. Si les unités sont très grandes (par exemple, années, kilomètres, etc.), ce qui semble être petit peut être significativement grand, tandis que si les unités sont petites (par exemple, secondes, centimètres, etc.), cette différence semble encore plus petite. Deuxièmement, même un petit changement peut être important: imaginez une sorte de traitement (par exemple, un vaccin) qui serait très bon marché, facile à administrer à l'ensemble de la population et n'aurait pas d'effets secondaires. Cela peut valoir la peine, même si cela n'a sauvé que très peu de vies.

gung - Réintégrer Monica
la source
Merci pour votre réponse! Je ne suis pas trop versé dans les statistiques, donc j'ai été surpris quand je n'ai pas eu la réponse que j'attendais. l'erreur type des différences entre les moyennes est: 7.36764E-05. Je ne sais pas quelle est la pertinence de cela, mais je suis sûr que vous faites haha. encore merci pour votre aide
Kscicc26
Vous êtes les bienvenus, @ Kscicc26. L' erreur type des différences et l'écart type des différences ne sont pas la même chose. (Tragiquement, ils sonnent comme ils devraient l'être.) Le SD vous indique à quel point vos différences varient, tandis que le SE vous indique à quel point les estimations de la différence moyenne varieraient si vous meniez votre étude encore et encore et encore. Cela peut vous aider à lire ma description des SE ici .
gung - Rétablir Monica
je vais vérifier cela et revenir sur ce sujet le matin!
Kscicc26
2
Cette différence moyenne n'est ni petite ni grande: vous n'avez tout simplement aucune base pour évaluer sa taille.
whuber
@whuber, c'est un bon point - je ne sais pas à quoi ces chiffres se réfèrent. Mais l'OP le fait probablement et pense qu'il est très petit. Je vais avec cette information.
gung - Rétablir Monica
9

Pour savoir si une différence est vraiment grande ou petite nécessite une certaine mesure d'échelle, l'écart-type est une mesure d'échelle et fait partie de la formule du test t pour tenir compte en partie de cette échelle.

Demandez-vous si vous comparez les hauteurs de 5 ans aux hauteurs de 20 ans (humains, même zone géographique, etc.). L'intuition nous dit qu'il y a là une différence pratique et si les hauteurs sont mesurées en pouces ou en centimètres, alors la différence aura un sens. Mais que faire si vous convertissez les hauteurs en kilomètres? ou des années-lumière? alors la différence sera un très petit nombre (mais toujours différent), mais (sauf erreur d'arrondi) le test t donnera les mêmes résultats, que la hauteur soit mesurée en pouces, centimètres ou kilomètres.

Une différence de 0,00017 peut donc être énorme en fonction de l'échelle des mesures.

Greg Snow
la source
4

Si votre critique est inférieur à ce que vous avez calculé et en supposant que le test était approprié pour votre type particulier de données (un «si» important), il semble que votre différence soit statistiquement significative au sens de . Un significatif dans le contexte approprié signifie généralement que votre différence observée est trop fiable non nulle pour soutenir l'hypothèse nulle que les données ne sont "pas du tout différentes". Même une différence de peut être statistiquement significative à partir de zéro si chaque différence observée se situe entre .00015 et .00020. Observer!t 17tunlikely to emerge at least as large in another, similar pair of samples selected randomly from the same populations if the null hypothesis of no difference is literally true of those populationst17100,000

pop1=rep(15:20* .00001, 56);pop2=rep(0,336) #Some fake samples of sample size = 336
t.test(pop1,pop2,paired=T)                #Paired t-test with the following output...

t(335)=187.55,p<2.2×1016

Parce que ces échantillons sont très différents de façon constante, la différence atteint une signification statistique, même s'ils sont de plus petite échelle que beaucoup d'entre nous ont l'habitude de voir en chiffres banals et quotidiens. En fait, vous pouvez réduire les données autant que vous le souhaitez en plaçant autant de zéros que vos calculs peuvent gérer sur le devant de .00001ma première ligne de code R. Cela réduira également l'écart type des différences; c'est-à-dire que vos différences resteront tout aussi cohérentes, votre restera exactement le même, ainsi que sa signification.t

Peut-être que vous seriez plus intéressé par la signification pratique que par ce sens littéral de test de signification d'hypothèse nulle. La signification pratique dépendra beaucoup plus de la signification de vos données dans le contexte que de la signification statistique; ce n'est pas une question purement statistique. J'ai cité un exemple utile de ce principe dans une réponse à une question populaire ici, Accueillir les vues bien ancrées des valeurs de p :

r=.03

Cette «question de vie et de mort» était la taille de l'effet de l'aspirine sur les crises cardiaques, essentiellement - un exemple puissant de différences numériquement petites et beaucoup moins cohérentes avec une signification pratiquement importante. De nombreuses autres questions avec des réponses solides dont vous pourriez bénéficier méritent des liens ici, notamment:

Référence

Rosenthal, R., Rosnow, RL et Rubin, DB (2000). Contrastes et tailles d'effet dans la recherche comportementale: une approche corrélationnelle . La presse de l'Universite de Cambridge.

Nick Stauner
la source
0

Voici un exemple en R qui montre les concepts théoriques en action. 10000 essais de lancer une pièce 10000 fois avec une probabilité de têtes de .0001 comparé à 10000 essais de lancer une pièce 10000 fois avec une probabilité de têtes de .00011

t.test (rbinom (10000, 10000, .0001), rbinom (10000, 10000, .00011))

t = -8,0299, df = 19886,35, valeur p = 1,03e-15 hypothèse alternative: la vraie différence des moyennes n'est pas égale à 0 intervalle de confiance à 95%: -0,1493747 -0,08806253 estimations d'échantillon: moyenne de x moyenne de y 0,9898 1,1063

La différence de moyenne est relativement proche de 0 en termes de perception humaine, mais elle est très statistiquement différente de 0.

Andrew Cassidy
la source