Comment interpréter les valeurs de p de 0 ou 1?

9

J'ai effectué une analyse ANOVA, par exemple une interaction entre le sexe et le grade que je veux savoir dans quelles notes les garçons et les filles diffèrent, mais dans de nombreux cas, je trouve des valeurs de p (ajustées) de 0 et 1. Comment / pourquoi est-ce possible? Cela ne semble pas juste ...

as.factor(gender)                     1     16    16.2    2.6377  0.104396    
as.factor(grade)                      7  50077  7153.9 1165.4184 < 2.2e-16 ***
as.factor(gender):as.factor(grade)    7    132    18.9    3.0795  0.003056 ** 
Residuals                          7747  47555     6.1                        
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1   1 

  Tukey multiple comparisons of means
    95% family-wise confidence level

Fit: aov(formula = rating ~ as.factor(gender) * as.factor(grade), data = users_c[users_c$grade %in% 1:8, ])

$`as.factor(gender)`
           diff        lwr        upr     p adj
m-f -0.09135851 -0.2016276 0.01891058 0.1043964

$`as.factor(grade)`
         diff        lwr       upr     p adj
2-1 0.3823566 -0.5454435  1.310157 0.9169296
3-1 1.9796023  1.1649854  2.794219 0.0000000
4-1 3.9558543  3.1534606  4.758248 0.0000000
5-1 5.7843111  4.9829529  6.585669 0.0000000
6-1 7.0752044  6.2708610  7.879548 0.0000000
7-1 8.4868609  7.6776332  9.296089 0.0000000
8-1 9.3867231  8.5626511 10.210795 0.0000000
3-2 1.5972457  1.0395026  2.154989 0.0000000
4-2 3.5734976  3.0337642  4.113231 0.0000000
5-2 5.4019544  4.8637616  5.940147 0.0000000
6-2 6.6928478  6.1502200  7.235476 0.0000000
7-2 8.1045042  7.5546625  8.654346 0.0000000
8-2 9.0043665  8.4329024  9.575831 0.0000000
4-3 1.9762520  1.6694948  2.283009 0.0000000
5-3 3.8047088  3.5006705  4.108747 0.0000000
6-3 5.0956021  4.7837806  5.407424 0.0000000
7-3 6.5072586  6.1830461  6.831471 0.0000000
8-3 7.4071208  7.0474558  7.766786 0.0000000
5-4 1.8284568  1.5588754  2.098038 0.0000000
6-4 3.1193501  2.8410202  3.397680 0.0000000
7-4 4.5310066  4.2388618  4.823151 0.0000000
8-4 5.4308688  5.0998193  5.761918 0.0000000
6-5 1.2908933  1.0155630  1.566224 0.0000000
7-5 2.7025498  2.4132612  2.991838 0.0000000
8-5 3.6024120  3.2738803  3.930944 0.0000000
7-6 1.4116565  1.1141985  1.709114 0.0000000
8-6 2.3115187  1.9757711  2.647266 0.0000000
8-7 0.8998622  0.5525763  1.247148 0.0000000

$`as.factor(gender):as.factor(grade)`
                diff         lwr        upr     p adj
m:1-f:1  0.005917865 -1.77842639  1.7902621 1.0000000
f:2-f:1  0.318074165 -1.28953805  1.9256864 0.9999988
m:2-f:1  0.442924925 -1.11597060  2.0018205 0.9998619
f:3-f:1  1.769000750  0.35262166  3.1853798 0.0020136
m:3-f:1  2.174229216  0.76569156  3.5827669 0.0000147
f:4-f:1  3.738998543  2.34268666  5.1353104 0.0000000
m:4-f:1  4.163719997  2.77146170  5.5559783 0.0000000
f:5-f:1  5.769586591  4.37599400  7.1631792 0.0000000
m:5-f:1  5.816721075  4.42497532  7.2084668 0.0000000
f:6-f:1  7.169439003  5.77317769  8.5657003 0.0000000
m:6-f:1  7.000924045  5.60308216  8.3987659 0.0000000
f:7-f:1  8.330142924  6.92683436  9.7334515 0.0000000
m:7-f:1  8.674488370  7.26930678 10.0796700 0.0000000
f:8-f:1  9.535307293  8.11198164 10.9586329 0.0000000
m:8-f:1  9.251081088  7.82191240 10.6802498 0.0000000
f:2-m:1  0.312156300 -1.12690148  1.7512141 0.9999959
m:2-m:1  0.437007060 -0.94741539  1.8214295 0.9995001
f:3-m:1  1.763082885  0.54136279  2.9848030 0.0000892
m:3-m:1  2.168311350  0.95569081  3.3809319 0.0000001
f:4-m:1  3.733080678  2.53468294  4.9314784 0.0000000
m:4-m:1  4.157802132  2.96412989  5.3514744 0.0000000
f:5-m:1  5.763668726  4.56844048  6.9588970 0.0000000
m:5-m:1  5.810803210  4.61772882  7.0038776 0.0000000
f:6-m:1  7.163521138  5.96518233  8.3618599 0.0000000
m:6-m:1  6.995006180  5.79482611  8.1951862 0.0000000
f:7-m:1  8.324225059  7.11768240  9.5307677 0.0000000
m:7-m:1  8.668570505  7.45984987  9.8772911 0.0000000
f:8-m:1  9.529389428  8.29962271 10.7591561 0.0000000
m:8-m:1  9.245163223  8.00863850 10.4816879 0.0000000
m:2-f:2  0.124850760 -1.02282435  1.2725259 1.0000000
f:3-f:2  1.450926585  0.50586965  2.3959835 0.0000172
m:3-f:2  1.856155050  0.92289131  2.7894188 0.0000000
f:4-f:2  3.420924378  2.50621691  4.3356318 0.0000000
m:4-f:2  3.845645832  2.93713824  4.7541534 0.0000000
f:5-f:2  5.451512425  4.54096139  6.3620635 0.0000000
m:5-f:2  5.498646910  4.59092496  6.4063689 0.0000000
f:6-f:2  6.851364838  5.93673457  7.7659951 0.0000000
m:6-f:2  6.682849880  5.76580854  7.5998912 0.0000000
f:7-f:2  8.012068759  7.08671595  8.9374216 0.0000000
m:7-f:2  8.356414205  7.42822339  9.2846050 0.0000000
f:8-f:2  9.217233128  8.26179669 10.1726696 0.0000000
m:8-f:2  8.933006923  7.96888762  9.8971262 0.0000000
f:3-m:2  1.326075825  0.46649985  2.1856518 0.0000150
m:3-m:2  1.731304290  0.88471145  2.5778971 0.0000000
f:4-m:2  3.296073618  2.46998162  4.1221656 0.0000000
m:4-m:2  3.720795071  2.90157332  4.5400168 0.0000000
f:5-m:2  5.326661665  4.50517434  6.1481490 0.0000000
m:5-m:2  5.373796150  4.55544575  6.1921465 0.0000000
f:6-m:2  6.726514078  5.90050756  7.5525206 0.0000000
m:6-m:2  6.557999120  5.72932364  7.3866746 0.0000000
f:7-m:2  7.887217999  7.04935402  8.7250820 0.0000000
m:7-m:2  8.231563445  7.39056617  9.0725607 0.0000000
f:8-m:2  9.092382368  8.22140761  9.9633571 0.0000000
m:8-m:2  8.808156163  7.92766524  9.6886471 0.0000000
m:3-f:3  0.405228465 -0.13578346  0.9462404 0.4221367
f:4-f:3  1.969997793  1.46166478  2.4783308 0.0000000
m:4-f:3  2.394719246  1.89762897  2.8918095 0.0000000
f:5-f:3  4.000585840  3.49977062  4.5014011 0.0000000
m:5-f:3  4.047720325  3.55206739  4.5433733 0.0000000
f:6-f:3  5.400438253  4.89224417  5.9086323 0.0000000
m:6-f:3  5.231923295  4.71940255  5.7444440 0.0000000
f:7-f:3  6.561142174  6.03389412  7.0883902 0.0000000
m:7-f:3  6.905487620  6.37327442  7.4377008 0.0000000
f:8-f:3  7.766306543  7.18788499  8.3447281 0.0000000
m:8-f:3  7.482080337  6.88942637  8.0747343 0.0000000
f:4-m:3  1.564769328  1.07871270  2.0508260 0.0000000
m:4-m:3  1.989490781  1.51520464  2.4637769 0.0000000
f:5-m:3  3.595357375  3.11716862  4.0735461 0.0000000
m:5-m:3  3.642491860  3.16971239  4.1152713 0.0000000
f:6-m:3  4.995209787  4.50929846  5.4811211 0.0000000
m:6-m:3  4.826694830  4.33626022  5.3171294 0.0000000
f:7-m:3  6.155913709  5.65010831  6.6617191 0.0000000
m:7-m:3  6.500259155  5.98928021  7.0112381 0.0000000
f:8-m:3  7.361078078  6.80213257  7.9200236 0.0000000
m:8-m:3  7.076851872  6.50319055  7.6505132 0.0000000
m:4-f:4  0.424721453 -0.01192015  0.8613631 0.0668946
f:5-f:4  2.030588047  1.58971048  2.4714656 0.0000000
m:5-f:4  2.077722532  1.64271796  2.5127271 0.0000000
f:6-f:4  3.430440460  2.98119847  3.8796825 0.0000000
m:6-f:4  3.261925502  2.80779484  3.7160562 0.0000000
f:7-f:4  4.591144381  4.12045589  5.0618329 0.0000000
m:7-f:4  4.935489827  4.45924616  5.4117335 0.0000000
f:8-f:4  5.796308750  5.26892973  6.3236878 0.0000000
m:8-f:4  5.512082545  4.96913148  6.0550336 0.0000000
f:5-m:4  1.605866594  1.17800058  2.0337326 0.0000000
m:5-m:4  1.653001078  1.23118920  2.0748130 0.0000000
f:6-m:4  3.005719006  2.56923916  3.4421989 0.0000000
m:6-m:4  2.837204048  2.39569420  3.2787139 0.0000000
f:7-m:4  4.166422928  3.70789927  4.6249466 0.0000000
m:7-m:4  4.510768373  4.04654394  4.9749928 0.0000000
f:8-m:4  5.371587296  4.85503631  5.8881383 0.0000000
m:8-m:4  5.087361091  4.55492128  5.6198009 0.0000000
m:5-f:5  0.047134485 -0.37906079  0.4733298 1.0000000
f:6-f:5  1.399852412  0.95913504  1.8405698 0.0000000
m:6-f:5  1.231337454  0.78563790  1.6770370 0.0000000
f:7-f:5  2.560556334  2.09799705  3.0231156 0.0000000
m:7-f:5  2.904901779  2.43669086  3.3731127 0.0000000
f:8-f:5  3.765720703  3.24558412  4.2858573 0.0000000
m:8-f:5  3.481494497  2.94557538  4.0174136 0.0000000
f:6-m:5  1.352717928  0.91787572  1.7875601 0.0000000
m:6-m:5  1.184202970  0.74431204  1.6240939 0.0000000
f:7-m:5  2.513421849  2.05645683  2.9703869 0.0000000
m:7-m:5  2.857767295  2.39508230  3.3204523 0.0000000
f:8-m:5  3.718586218  3.20341827  4.2337542 0.0000000
m:8-m:5  3.434360013  2.90326187  3.9654582 0.0000000
m:6-f:6 -0.168514958 -0.62249009  0.2854602 0.9968060
f:7-f:6  1.160703921  0.69016548  1.6312424 0.0000000
m:7-f:6  1.505049367  1.02895400  1.9811447 0.0000000
f:8-f:6  2.365868290  1.83862318  2.8931134 0.0000000
m:8-f:6  2.081642085  1.53882109  2.6244631 0.0000000
f:7-m:6  1.329218879  0.85401081  1.8044269 0.0000000
m:7-m:6  1.673564325  1.19285330  2.1542753 0.0000000
f:8-m:6  2.534383248  2.00296656  3.0657999 0.0000000
m:8-m:6  2.250157043  1.70328327  2.7970308 0.0000000
m:7-f:7  0.344345446 -0.15203755  0.8407284 0.5648416
f:8-f:7  1.205164369  0.65953016  1.7507986 0.0000000
m:8-f:7  0.920938164  0.36023867  1.4816377 0.0000022
f:8-m:7  0.860818923  0.31038540  1.4112524 0.0000101
m:8-m:7  0.576592718  0.01122178  1.1419637 0.0401330
m:8-f:8 -0.284226205 -0.89329509  0.3248427 0.9688007

la source
7747 degrés de liberté résiduels, c'est beaucoup; est-il possible que votre ensemble de données ait plusieurs réponses par individu? Si tel est le cas, vous pouvez soit réduire les réponses de chaque personne à une moyenne (effectuée automatiquement par ezANOVA à partir du package ez), soit utiliser quelque chose comme des modèles d'effets mixtes, qui vous permettent de prendre en compte les mesures répétées (consultez ezMixed from le paquet ez).
Mike Lawrence
Je voulais dire "ou utiliser quelque chose de plus puissant comme des modèles d'effets mixtes". De plus, pour la dernière version du code ezMixed (qui permet une puissante évaluation des effets éventuellement non linéaires de variables continues comme le grade, sans parler de la visualisation via ezPlot2), source et exécutez cette fonction ezDev tout en étant connecté à Internet: raw.github .com / mike-lawrence / ez / master / R / ezDev.R
Mike Lawrence

Réponses:

15

Tout ce que signifient 0 et 1, c'est qu'ils sont très très proches de 0 ou 1. Si vous regardez attentivement, vous verrez que lorsque le p ajusté est 1, alors l'effet est presque 0 et lorsque le p ajusté est 0, la limite la plus proche de l'effet est très loin. Par conséquent, il n'y a rien de "mauvais" en soi. Maintenant, regardez combien de chiffres significatifs vous avez. Le 1 ou 0 signifie simplement qu'il est plus proche de cette valeur que ce qui peut être représenté par un nombre avec autant de chiffres. N'hésitez pas à signaler quelque chose comme <0,0001 ou> 0,9999.

John
la source
+1 - Ce ne sont que des seuils d'arrondi arbitraires. Et l'une des raisons pour lesquelles je déteste vraiment les rapports d'importance basés sur *.
Fomite
3
Avec cette grande taille d'échantillon, il n'est pas surprenant de trouver de très petites valeurs de p. Je pense que cela soulève la question de la signification pratique vs statistique ici et je serais plus intéressé par les intervalles de confiance que les valeurs p.
Glen
@John, voulez-vous dire qu'il y aurait un problème avec le rapport d'une valeur de p à 1,00 ou à 1000? Je ne verrais rien de mal à faire cela.
mark999
Glen, je suis d'accord ...
John
mark999, vous devez alors les signaler de cette façon. Le seul problème que j'aurais avec cela est que ces chiffres ont tendance à être interprétés comme spéciaux. Nous savons tous que toute valeur serait une estimation, mais 1,0 et 0,0 pourraient être considérés comme spéciaux ou déroutants pour les novices en statistique, tout comme pour ce questionneur. La confusion qui a suscité cette question serait alors dans les lecteurs du rapport.
John