Pourquoi les modèles à effets mixtes résolvent-ils la dépendance?

Imaginons que nous nous intéressions à la façon dont les notes des étudiants sont affectées par le nombre d'heures que ces étudiants étudient. Pour explorer cette relation, nous pourrions exécuter la régression linéaire suivante:

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i$$

Mais si nous échantillonnons des élèves de plusieurs écoles différentes, nous pourrions nous attendre à ce que les élèves d'une même école se ressemblent davantage que les élèves de différentes écoles. Pour faire face à ce problème de dépendance, le conseil dans de nombreux manuels / sur le Web, est d'exécuter des effets mixtes et d'entrer à l'école comme un effet aléatoire. Ainsi, le modèle deviendrait: Mais pourquoi cela résout-il le problème de dépendance qui était présent dans la régression linéaire?

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + \text{school}_j + e_i$$

Veuillez répondre comme si vous parliez à un enfant de 12 ans

L'inclusion de termes aléatoires dans le modèle est un moyen d'induire une structure de covariance entre les notes. Le facteur aléatoire pour l'école induit une covariance non nul entre les différents élèves de la même école, alors qu'il est quand l'école sont différents.$0$

Écrivons votre modèle comme où s indexe l'école et i indexe les élèves (dans chaque école). Les termes écoles s sont des variables aléatoires indépendantes dessinées dans un N ( 0 , τ ) . Les e s , i sont des variables aléatoires indépendantes dessinées dans un N ( 0 ,

$$Y_{s,i} = \alpha + \text{hours}_{s,i} \beta + \text{school}_s + e_{s, i}$$ $s$$i$$\text{school}_s$$\mathcal N(0, \tau)$$e_{s, i}$ .$\mathcal N(0, \sigma^2)$

Ce vecteur a une valeur attendue qui est déterminée par le nombre d'heures travaillées.

$$\left[ \alpha + \text{hours}_{s,i} \beta \right]_{s,i}$$

La covariance entre et Y s ′ , i ′ est 0 lorsque$Y_{s,i}$$Y_{s',i'}$$0$ , ce qui signifie que l'écart des notes par rapport aux valeurs attendues est indépendant lorsque les élèves ne sont pas dans la même école.$s \ne s'$

La covariance entre et Y s , $Y_{s,i}$ estτlorsquei≠i′, et la variance deY s , i est$Y_{s,i'}$$\tau$$i \ne i'$$Y_{s,i}$ : les notes des élèves d'une même école auront des écarts corrélés par rapport à leurs valeurs attendues .$\tau + \sigma^2$

Exemple et données simulées

Voici une courte simulation R pour cinquante élèves de cinq écoles (ici je prends ); les noms de la variable sont auto-documentés: $\sigma^2 = \tau = 1$

set.seed(1)
school        <- rep(1:5, each=10)
school_effect <- rnorm(5)

school_effect_by_ind <- rep(school_effect, each=10)
individual_effect    <- rnorm(50)

$\text{school}_s + e_{s, i}$

plot(individual_effect + school_effect_by_ind, col=school, pch=19, 
     xlab="student", ylab="grades departure from expected value")
segments(seq(1,length=5,by=10), school_effect, seq(10,length=5,by=10), col=1:5, lty=3)

$\text{school}_s$$\alpha + \text{hours} \beta$

La matrice de variance pour cet exemple

$\text{school}_s$$e_{s,i}$

$$\left[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}\right]$$ $10\times 10$$A$ $$A = \left[\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}\right].$$