Suppression de facteurs d'une table ANOVA à 3 voies

14

Dans un article récent, j'ai monté un modèle d'effets fixes à trois voies. Étant donné que l'un des facteurs n'était pas significatif (p> 0,1), je l'ai supprimé et réajusté le modèle avec deux effets fixes et une interaction.

Je viens de recevoir des commentaires des arbitres, pour citer:

Ce temps n'était pas un facteur significatif dans l'ANOVA à 3 voies n'est pas en soi un critère suffisant pour mettre en commun le facteur temps: le texte standard sur cette question, Underwood 1997, fait valoir que la valeur de p pour un effet non significatif doit être supérieure à 0,25 avant que les niveaux de traitement d'un facteur puissent être regroupés. Les auteurs doivent donner ici la valeur p pertinente et justifier leur mise en commun en se référant à Underwood 1997.

Mes questions sont:

  1. Je n'ai jamais entendu parler de la règle 0.25. Quelqu'un d'autre? Je peux comprendre de ne pas supprimer le facteur si la valeur de p était proche du seuil, mais avoir une "règle" semble un peu extrême.
  2. Cet arbitre déclare que Underwood 1997 est le texte standard. Est ce que c'est vraiment? Je n'en ai jamais entendu parler. Quel serait le texte standard (une telle chose existe-t-elle)? Malheureusement, je n'ai pas accès à ce Underwood, 1997.
  3. Tout conseil lors de la réponse aux arbitres.

Contexte: ce document a été soumis à une revue non statistique. Lors de l'ajustement du modèle à trois voies, j'ai vérifié les effets d'interaction.

anova fixed-effects-model csgillespie
la source
Je n'ai jamais entendu parler du manuel d'Underwood, mais cet article semble discuter des avantages et des inconvénients de la mise en commun: Pragmatique de la mise en commun dans les tables ANOVA (Hines, Am. Stat. 1996). Maintenant, il me semble que Sokal et Rohlf (1995) recommandent également de considérer des valeurs très conservatrices ( ); Je dois vérifier avant de poster une réponse, sauf si de meilleures références apparaissent. p≥.25
chl
2
Juste un commentaire. Une ligne directrice basée sur sent comme une mauvaise utilisation d'une valeur p , en ce sens qu'une valeur p non significative n'est pas une mesure de non-preuve. Étant donné que les valeurs de p sont uniformément distribuées sous l'hypothèse nulle, pourquoi ne pas simplement lancer une pièce (biaisée)? Le résultat final est le même, et au moins c'est honnête d'être dopé. (OK, dopey est un peu fort, mais vous avez compris.)p≥somethingppp
5
Ce serait une réponse intéressante à un arbitre: "Nous remercions l'arbitre pour ses commentaires, mais je pense qu'ils sont un peu idiots";) Bon commentaire cependant.
csgillespie

Réponses:

15

Je suppose que l'Underwood en question est Experiments in Ecology (Cambridge Press 1991). C'est une référence plus ou moins standard dans les sciences écologiques, peut-être troisième derrière Zar et Sohkol et Rohlf (et à mon avis le plus «lisible» des trois)

Si vous pouvez en trouver une copie, la section pertinente citée par votre arbitre se trouve en 9.7 à la p.273. Là, Underwood suggère une procédure de mise en commun recommandée (donc pas une «règle» en soi ) pour les facteurs non significatifs. C'est une procédure en 2 étapes que je ne comprends pas très bien, mais le résultat est que le p = 0,25 est suggéré pour réduire la probabilité d'erreur de type I lors de la mise en commun du facteur non significatif (donc rien à voir avec le `` temps '' dans votre exemple, il peut s'agir de tout facteur non sig).

La procédure ne semble pas réellement être celle de Underwood, il cite lui-même Winer et al 1991 ( Statistical Procedures in Experimental Design McGraw-Hill). Vous pouvez essayer là-bas si vous ne trouvez pas de copie de Underwood.

Chris
la source
4
+1 Belle réponse: claire, précise, perspicace et autoritaire.
whuber
@Chris, voulez-vous dire "réduire la probabilité d'erreur de type II" (pas de type I) ci-dessus? La motivation pour ne pas supprimer les facteurs du modèle est d'empêcher les études de faible puissance permettant de supprimer les causes réelles (c'est-à-dire que le type II de conclusion de la variable n'a aucun effet), tout en gonflant également l'effet apparent des paramètres laissés dans le modèle s'ils sont corrélés avec la variable maintenant supprimée. Étant donné que l'effet secondaire générera des erreurs de type I, Underwood suggère peut-être de laisser des effets pour contrôler les erreurs de type 1 et de type II, c'est-à-dire maximiser la validité du modèle?
tim
10

Je déteste ce genre de règles basées sur la coupure. Je pense que cela dépend de la conception et de vos hypothèses et attentes a priori . Si vous vous attendez à ce que le résultat varie avec le temps, je dirais que vous devriez garder le temps, comme vous le feriez pour tout autre facteur de «blocage». D'un autre côté, si vous répliquiez les mêmes expériences à des moments différents et n'aviez aucune raison de penser que le résultat varierait avec le temps mais que vous vouliez vérifier que c'était le cas, alors après l'avoir fait et trouvé peu ou pas de preuves pour que cela varie avec temps, je dirais qu'il est tout à fait raisonnable de laisser tomber le temps.

Je n'ai jamais entendu parler d'Underwood auparavant. Il peut s'agir d'un texte standard pour «Expériences en écologie» (le titre du livre), mais il n'y a aucune raison évidente pour que les expériences en écologie soient traitées différemment des autres expériences à cet égard, donc pour le voir comme « le texte standard sur cette question "semble injustifiée.

un arrêt
la source
1
Avant l'expérience, on pensait que le facteur serait significatif. Cependant, il a été submergé par les deux autres effets. J'ai supprimé le facteur parce que le conserver n'a pas changé les conclusions et n'a fait que rendre l'explication plus difficile.
csgillespie
2
Hmm, dans ce cas, je pense que je le garderais. Je ne vois pas pourquoi cela rend l'explication plus difficile, et comme vous l'avez découvert, il peut être plus difficile d'expliquer pourquoi vous l'avez laissé tomber que pourquoi vous l'avez gardé!
arrêt
Je prends note de votre argument, bien que je ne sois pas 100% d'accord avec lui. Je pouvais facilement voir un autre arbitre suggérant que vous devriez supprimer le facteur (c'est ce que les bio-statisticiens recommandent que j'en ai aussi parlé). Comme vous l'avez mentionné, lorsqu'il s'agit d'une zone grise, une règle arbitraire n'est pas la solution. Si nous voulions induire en erreur, nous ne mentionnerions jamais que l'autre facteur a jamais été impliqué! Complètement contraire à l'éthique, mais je soupçonne que cela se produit.
csgillespie
1

veuillez lire le texte d'Underwood et ses références, ce n'est pas une règle, veuillez lire. En fait, cette approche consiste à contrôler l'erreur de type II lors de la suppression (ou de la mise en commun) d'un terme «non significatif» dans le modèle. Que faire si le terme que vous supprimez a un niveau de signification de 0,06? Êtes-vous vraiment sûr que la SM attendue n'inclut pas d'effet supplémentaire en raison du facteur?. Si vous supprimez ce terme, vous supposez que la SEP attendue n'inclut pas l'effet supplémentaire dû à ce traitement MAIS VOUS DEVEZ ÊTRE quelque peu protégé contre les erreurs de type II !. veuillez excuser mon anglais pauvre et précipité !.

AnastD
la source