Comment justifier le terme d'erreur dans l'ANOVA factorielle?

Une question probablement très basique sur l'ANOVA multifactorielle. Supposons une conception bidirectionnelle dans laquelle nous testons à la fois les effets principaux A, B et l'interaction A: B. Lors du test de l'effet principal pour A avec le type I SS, l'effet SS est calculé comme la différence , où R S S ( 1 ) est la somme d'erreur résiduelle des carrés pour le modèle avec seulement l'ordonnée à l'origine, et R S S ( A ) le RSS pour le modèle avec le facteur A ajouté. Ma question concerne le choix du terme d'erreur:$RSS(1) - RSS(A)$$RSS(1)$$RSS(A)$

Comment justifiez-vous que le terme d'erreur pour ce test est généralement calculé à partir du RSS du modèle complet A + B + A: B qui comprend à la fois les effets principaux et l'interaction?

... au lieu de prendre le terme d'erreur du modèle non restreint de la comparaison réelle (RSS de juste l'effet principal A dans le cas ci-dessus):

Cela fait une différence, car le terme d'erreur du modèle complet est probablement (pas toujours) plus petit que le terme d'erreur du modèle sans restriction dans la comparaison. Il semble que le choix du terme d'erreur soit quelque peu arbitraire, créant de la place pour les changements de valeur de p souhaités simplement en ajoutant / supprimant des facteurs qui ne sont pas vraiment intéressants, mais en changeant quand même le terme d'erreur.

Dans l'exemple suivant, la valeur F pour A change considérablement en fonction du choix pour le modèle complet, même si la comparaison réelle de l'effet SS reste la même.

> DV  <- c(41,43,50, 51,43,53,54,46, 45,55,56,60,58,62,62,
+          56,47,45,46,49, 58,54,49,61,52,62, 59,55,68,63,
+          43,56,48,46,47, 59,46,58,54, 55,69,63,56,62,67)

> IV1 <- factor(rep(1:3, c(3+5+7, 5+6+4, 5+4+6)))
> IV2 <- factor(rep(rep(1:3, 3), c(3,5,7, 5,6,4, 5,4,6)))
> anova(lm(DV ~ IV1))                           # full model = unrestricted model (just A)
          Df  Sum Sq Mean Sq F value Pr(>F)
IV1        2  101.11  50.556  0.9342 0.4009
Residuals 42 2272.80  54.114

> anova(lm(DV ~ IV1 + IV2))                     # full model = A+B
          Df  Sum Sq Mean Sq F value   Pr(>F)    
IV1        2  101.11   50.56  1.9833   0.1509    
IV2        2 1253.19  626.59 24.5817 1.09e-07 ***
Residuals 40 1019.61   25.49                     

> anova(lm(DV ~ IV1 + IV2 + IV1:IV2))           # full model = A+B+A:B
          Df  Sum Sq Mean Sq F value    Pr(>F)    
IV1        2  101.11   50.56  1.8102    0.1782    
IV2        2 1253.19  626.59 22.4357 4.711e-07 ***
IV1:IV2    4   14.19    3.55  0.1270    0.9717    
Residuals 36 1005.42   27.93

La même question s'applique aux SS de type II, et en général à une hypothèse linéaire générale, c'est-à-dire à une comparaison de modèle entre un modèle restreint et un modèle non restreint dans un modèle complet. (Pour le type III SS, le modèle sans restriction est toujours le modèle complet, donc la question ne se pose pas là)

C'est une très vieille question, et je pense que la réponse de @ gung est très bonne (+1). Mais comme ce n'était pas entièrement convaincant pour @caracal, et comme je ne suivais pas entièrement toutes ses subtilités non plus, je voudrais fournir une figure simple illustrant comment je comprends le problème.

Considérons une ANOVA bidirectionnelle (le facteur A a trois niveaux, le facteur B a deux niveaux), les deux facteurs étant évidemment très importants:

SS pour le facteur A est énorme. SS pour le facteur B est beaucoup plus petit, mais d'après la figure du haut, il est clair que le facteur B est néanmoins très important également.

L'erreur SS pour le modèle contenant les deux facteurs est représentée par l'un des six Gaussiens, et lors de la comparaison de SS pour le facteur B avec cette erreur SS, le test conclura que le facteur B est significatif.

L'erreur SS pour le modèle ne contenant que le facteur B est cependant énorme! La comparaison de SS pour le facteur B avec cette erreur massive SS fera certainement apparaître B non significatif. Ce qui n'est clairement pas le cas.

C'est pourquoi il est judicieux d'utiliser l'erreur SS du modèle complet.

Mise à jour: Pour clarifier certains des points que je soulève en passant ici, j'ai ajouté quelques liens vers des endroits où je discute plus en détail des idées pertinentes.

Le test F vérifie s'il y a plus de variabilité (spécifiquement des carrés moyens) associée à un facteur que ce à quoi on pourrait s'attendre par hasard. La variation que nous pourrions attendre par hasard est estimée à partir de la somme des erreurs quadratiques, c'est-à-dire la variabilité due à (associée à) aucun facteur connu. Ce sont vos résidus, ce qui reste après avoir pris en compte tout ce que vous savez. Dans votre exemple,$RSS_{A}$contient plus que l'erreur résiduelle, elle contient également une variabilité due à des facteurs connus. Tandis que le$SS_{A}$sont théorisés pour rebondir dans une certaine mesure par hasard, ce montant n'est pas théorisé pour être entraîné par les autres facteurs connus ¹ . Il serait donc inapproprié d'utiliser$MS_{A}$comme dénominateur dans votre test F. De plus, en utilisant$MS_{A+B+A*B}$ vous donne plus de puissance, diminue la probabilité d'erreur de type II et ne devrait pas gonfler l'erreur de type I.

Il y a d'autres problèmes dans votre question. Vous mentionnez que le$RSS_{full}$ n'est pas toujours le plus bas, et dans votre exemple, $MS_{A+B+A*B} > MS_{A+B}$. En effet, l'interaction n'est en fait associée à aucune variabilité qui lui soit propre. Cette$SS_{A*B} = 14.19$semble être due à rien de plus que le hasard. Il existe une formule précise, mais quelque peu compliquée, qui spécifie comment la puissance changera si différents facteurs sont inclus ou exclus du modèle. Je ne l'ai pas à portée de main, mais l'essentiel est simple: lorsque vous incluez un autre facteur, le RSS diminue (vous donnant plus de puissance), mais le$df_{R}$diminue également (produisant moins de puissance). L'équilibre de ce compromis est essentiellement déterminé par le fait que les SS associés à ce facteur sont réels ou uniquement dus au hasard, ce qui, dans la pratique, est vaguement indiqué par le fait que le facteur est significatif ² . Cependant, éliminer les facteurs du modèle qui ne sont pas significatifs afin d'obtenir le bon terme d'erreur est logiquement équivalent à une procédure de recherche automatique de modèle, même si votre logiciel ne le fait pas automatiquement pour vous. Vous devez savoir qu'il y a beaucoup de problèmes à le faire. Ces problèmes et les procédures alternatives sont discutés ailleurs dans le CV ³ .

Un dernier sujet concerne les différents types de SS. Premièrement, l'utilisation de différents types de SS ne vous évite pas d'avoir besoin d'une justification logique de votre analyse. Mais de plus, les SS de type I - III sont liés à un problème différent. Dans votre exemple, je suppose que vos facteurs sont orthogonaux, c'est-à-dire que vous avez effectué une expérience dans laquelle vous avez attribué n égal à chaque combinaison de niveaux de facteurs. Cependant, si vous effectuez une étude observationnelle ou si vous avez des problèmes de décrochage, vos facteurs seront corrélés. Les implications de cela sont qu'il n'y a pas de moyen unique de partitionner le SS et donc il n'y a pas de réponse unique à produire pour vos analyses. En d'autres termes, les différents types de SS ont à voir avec différents numérateurs possibles pour votre test F lorsque vos facteurs sont corrélés ⁴ .

<sub>1. Notez qu'avec les modèles à plusieurs niveaux, un facteur peut être théorisé pour inclure la variabilité des autres facteurs, selon la façon dont le modèle est spécifié. Je parle de l'ANOVA ordinaire ici, c'est ce que vous semblez demander.
2. Voir: Comment l'ajout d'un 2e IV peut-il rendre le 1er IV significatif?
3. Voir: Algorithmes pour la sélection automatique de modèle .
4. Voir: Comment interpréter ANOVA et MANOVA de type I (séquentiel)?</sub>

La justification est que le facteur A explique un pourcentage plus élevé de la variation inexpliquée du modèle A + B par rapport au modèle A, car le facteur B explique une partie importante (et donc le `` supprime '' de l'analyse).