L'ajout d'un effet aléatoire influence les estimations des coefficients

On m'a toujours enseigné que les effets aléatoires n'influencent que la variance (erreur) et que les effets fixes n'influencent que la moyenne. Mais j'ai trouvé un exemple où les effets aléatoires influencent également la moyenne - l'estimation du coefficient:

require(nlme)
set.seed(128)
n <- 100
k <- 5
cat <- as.factor(rep(1:k, each = n))
cat_i <- 1:k # intercept per kategorie
x <- rep(1:n, k)
sigma <- 0.2
alpha <- 0.001
y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma)
plot(x, y)

# simulate missing data
y[c(1:(n/2), (n*k-n/2):(n*k))] <- NA

m1 <- lm(y ~ x)
summary(m1)

m2 <- lm(y ~ cat + x)
summary(m2)

m3 <- lme(y ~ x, random = ~ 1|cat, na.action = na.omit)
summary(m3)

Vous pouvez voir que le coefficient estimé pour le xmodèle m1est -0,013780, tandis que le modèle m3est 0,0011713 - tous deux significativement différents de zéro.

Notez que lorsque je supprime la ligne simulant des données manquantes, les résultats sont les mêmes (c'est la matrice complète).

Pourquoi donc?

PS: veuillez noter que je ne suis pas un statisticien professionnel, donc si vous êtes sur le point de répondre avec beaucoup de mathématiques, veuillez également faire un résumé simple pour les nuls :-)

"On m'a toujours enseigné que les effets aléatoires n'influencent que la variance (erreur) et que les effets fixes n'influencent que la moyenne."

Comme vous l'avez découvert, cela n'est vrai que pour les ensembles de données équilibrés et complets (c'est-à-dire sans données manquantes) sans prédicteurs continus. En d'autres termes, pour les types de données / modèles discutés dans les textes ANOVA classiques. Dans ces circonstances idéales, les effets fixes et les effets aléatoires peuvent être estimés indépendamment les uns des autres.

Lorsque ces conditions ne sont pas réunies (comme elles ne le sont très souvent pas dans le "monde réel"), les effets fixes et aléatoires ne sont pas indépendants. Par ailleurs, c'est pourquoi les modèles mixtes "modernes" sont estimés à l'aide de méthodes d'optimisation itératives, plutôt que d'être résolus exactement avec un peu d'algèbre matricielle comme dans le cas de l'ANOVA mixte classique: pour estimer les effets fixes, nous devons connaître les effets aléatoires, mais pour estimer les effets aléatoires, nous devons connaître les effets fixes! Plus pertinent pour la présente question, cela signifie également que lorsque les données sont déséquilibrées / incomplètes et / ou qu'il existe des prédicteurs continus dans le modèle, l'ajustement de la structure à effets aléatoires du modèle mixte peut modifier les estimations de la partie fixe du modèle. , et vice versa.

Modifier 2016-07-05. D'après les commentaires: " Pourriez-vous élaborer ou fournir une citation sur la raison pour laquelle les prédicteurs continus influenceront les estimations de la partie fixe du modèle? "

Les estimations pour la partie fixe du modèle dépendront des estimations pour la partie aléatoire du modèle - c'est-à-dire les composantes de variance estimées - si (mais pas seulement si) la variance des prédicteurs diffère selon les grappes. Ce qui sera presque certainement vrai si l'un des prédicteurs est continu (au moins dans les données du "monde réel" - en théorie, il serait possible que cela ne soit pas vrai, par exemple dans un ensemble de données construit).

Au premier niveau, je pense que vous ignorez tout le rétrécissement vers les valeurs de la population; " les pentes et les intersections par sujet du modèle à effets mixtes sont plus proches des estimations de la population que les estimations des moindres carrés au sein du sujet. " [réf. 1]. Le lien suivant sera probablement également utile ( Quelles sont les descriptions appropriées à regarder pour mes modèles mixtes? ), Voir la réponse de Mike Lawrence).

De plus, je pense que votre exemple de jouet est légèrement malchanceux parce que vous avez un design parfaitement équilibré qui vous fait avoir exactement la même estimation dans le cas où aucune valeur n'est manquante.

Essayez le code suivant qui a le même processus sans aucune valeur manquante maintenant:

 cat <- as.factor(sample(1:5, n*k, replace=T) ) #This should be a bit unbalanced.
 cat_i <- 1:k # intercept per kategorie
 x <- rep(1:n, k)
 sigma <- 0.2
 alpha <- 0.001
 y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma) 

 m1 <- lm(y ~ x)  
 m3 <- lme(y ~ x, random = ~ 1|cat, na.action = na.omit) 

 round(digits= 7,fixef(m3)) ==  round(digits=7, coef(m1)) #Not this time lad.
 #(Intercept)           x 
 #      FALSE       FALSE 

Où maintenant, parce que votre conception n'est pas parfaitement équilibrée, vous n'avez pas les mêmes estimations de coefficient.

En fait, si vous jouez avec votre modèle de valeur manquante de manière idiote (donc par exemple:) y[ c(1:10, 100 + 1:10, 200 + 1:10, 300 + 1:10, 400 +1:10)] <- NAafin que votre conception soit toujours parfaitement équilibrée, vous obtiendrez à nouveau les mêmes coefficients.

 require(nlme)
 set.seed(128)
 n <- 100
 k <- 5
 cat <- as.factor(rep(1:k, each = n))
 cat_i <- 1:k # intercept per kategorie
 x <- rep(1:n, k)
 sigma <- 0.2
 alpha <- 0.001
 y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma)
 plot(x, y)

 # simulate missing data in a perfectly balanced way
 y[ c(1:10, 100 + 1:10, 200 + 1:10, 300 + 1:10, 400 +1:10)] <- NA

 m1 <- lm(y ~ x)  
 m3 <- lme(y ~ x, random = ~ 1|cat, na.action = na.omit) 

 round(digits=7,fixef(m3)) ==  round(digits=7, coef(m1)) #Look what happend now...
 #(Intercept)           x 
 #       TRUE        TRUE 

Vous êtes légèrement mal orienté par la conception parfaite de votre expérience originale. Lorsque vous avez inséré les NA dans un espace non équilibré, vous avez changé le schéma de la quantité de «force» que les sujets individuels pouvaient emprunter les uns aux autres.

En bref, les différences que vous voyez sont dues à des effets de rétrécissement et plus précisément parce que vous avez déformé votre conception d'origine parfaitement équilibrée avec des valeurs manquantes non parfaitement équilibrées.

Réf 1: Douglas Bates lme4: Modélisation à effets mixtes avec R , pages 71-72