Pourquoi ces tables de régression anova sont-elles identiques?

J'ai deux régressions du même Y et du X à trois niveaux. Globalement n = 15, avec n = 5 dans chaque groupe ou niveau de X. La première régression traite le X comme catégorique, attribuant des variables indicatrices aux niveaux 2 et 3 avec le niveau l'un étant la référence. Les indicateurs / mannequins sont comme ceci: X1 = 1 si niveau = 2, 0 si autre X2 = 1 si niveau = 3, 0 si autre

En conséquence, mon modèle ajusté ressemble à ceci: y = b0 + b1 (x1) + b2 (x2)

J'exécute la régression, et la sortie comprend cette table d'analyse de la variance:

Le reste de la sortie n'est pas pertinent ici.

Bon alors maintenant je lance une régression différente sur les mêmes données. Je laisse tomber l'analyse catégorique et traite X comme continu, mais j'ajoute une variable à l'équation: X ^ 2, le carré de X. Alors maintenant j'ai le modèle suivant: y = b0 + b1 (X) + b2 (X) ^ 2

Si je l'exécute, il crache le même tableau d'analyse de variance que je vous ai montré ci-dessus. Pourquoi ces deux régressions donnent-elles naissance aux mêmes tableaux?

[Le mérite de cette petite énigme revient à Thomas Belin du Département de biostatistique de l'Université de Californie à Los Angeles.]

En termes matriciels, vos modèles sont sous la forme habituelle . $E[Y]=X\beta$

Le premier modèle représente un élément du premier groupe par la ligne en X , correspondant à l'ordonnée à l'origine, l'indicateur pour la catégorie 2 et l'indicateur pour la catégorie 3. Il représente un élément du deuxième groupe par la ligne ( 1 , 1 , 0 ) et un élément du troisième groupe par ( 1 , 0 , 1 ) .$(1,0,0)$$X$$(1,1,0)$$(1,0,1)$

Le deuxième modèle utilise à la place des lignes , ( 1 , 2 , 2 2 ) = ( 1 , 2 , 4 ) et ( 1 , 3 , 3 2 ) = ( 1 , 3 , 9 ) , respectivement.$(1,1,1^2)=(1,1,1)$$(1,2,2^2)=(1,2,4)$$(1,3,3^2)=(1,3,9)$

Appelons les matrices de modèles résultantes et X 2 . Ils sont simplement liés: les colonnes de l'une sont des combinaisons linéaires des colonnes de l'autre. Par exemple, laissez$X_1$$X_2$

$$V = \pmatrix{1&1&1 \\ 0&1&3 \\ 0&2&8}.$$

Depuis

$$\pmatrix{1&0&0 \\ 1&1&0 \\ 1&0&1} V = \pmatrix{1&1&1 \\ 1&2&4 \\ 1&3&9},$$

il s'ensuit que

$$X_1 V = X_2.$$

Les modèles eux-mêmes sont donc liés par

$$X_1\beta_1 = E[Y] = X_2\beta_2 = (X_1V)\beta_2 = X_1(V\beta_2).$$

$\beta_2$

$$\beta_1 = V\beta_2.$$

La même relation vaut donc pour leurs estimations des moindres carrés. Cela montre que les modèles ont des ajustements identiques : ils les expriment simplement différemment.

Étant donné que les premières colonnes des deux matrices de modèle sont identiques, toute table ANOVA qui décompose la variance entre la première colonne et les colonnes restantes ne changera pas. Une table ANOVA qui fait la distinction entre les deuxième et troisième colonnes dépendra cependant de la façon dont les données sont codées.

$\mathbb{R}^{15}$$X_1$$X_2$

---

Pour illustrer, voici des données comme les vôtres (mais avec des réponses différentes) et les analyses correspondantes générées dans R.

set.seed(17)
D <- data.frame(group=rep(1:3, each=5), y=rnorm(3*5, rep(1:3, each=5), sd=2))

Montez les deux modèles:

fit.1 <- lm(y ~ factor(group), D)
fit.2 <- lm(y ~ group + I(group^2), D)

Affichez leurs tableaux ANOVA:

anova(fit.1)
anova(fit.2)

La sortie du premier modèle est

              Df Sum Sq Mean Sq F value   Pr(>F)    
factor(group)  2 51.836  25.918  14.471 0.000634 ***
Residuals     12 21.492   1.791 

Pour le deuxième modèle, il est

           Df Sum Sq Mean Sq F value    Pr(>F)    
group       1 50.816  50.816 28.3726 0.0001803 ***
I(group^2)  1  1.020   1.020  0.5694 0.4650488    
Residuals  12 21.492   1.791  

Vous pouvez voir que les sommes résiduelles des carrés sont les mêmes. En ajoutant les deux premières lignes du deuxième modèle, vous obtiendrez le même DF et la même somme de carrés, à partir desquels les mêmes carrés, valeurs F et valeurs p peuvent être calculés.

Enfin, comparons les estimations des coefficients.

beta.1.hat <- coef(fit.1)
beta.2.hat <- coef(fit.2)

La sortie est

(Intercept) factor(group)2 factor(group)3 
  0.4508762      2.8073697      4.5084944 

(Intercept)       group  I(group^2) 
 -3.4627385   4.4667371  -0.5531225 

$V$

$$\pmatrix{1&1&1 \\ 0&1&3 \\ 0&2&8}\pmatrix{-3.4627385 \\ 4.4667371 \\-0.5531225} = \pmatrix{ 0.4508762 \\ 2.8073697 \\ 4.5084944 }.$$

Les ajustements sont vraiment les mêmes que ceux revendiqués.

En bref, les deux modèles sont saturés en ce sens qu'ils fournissent des prédictions empiriques uniques de la réponse aux trois niveaux de X. Cela peut être évident pour le codage des variables factorielles dans le modèle 1. Pour une tendance quadratique, il est intéressant de noter qu'un la formule quadratique peut interpoler 3 points quelconques. Bien que les contrastes soient différents, dans les deux modèles, le test global contre le zéro d'un modèle d'interception seule fournit une inférence identique.