Effet fixe vs effet aléatoire lorsque toutes les possibilités sont incluses dans un modèle d'effets mixtes

Dans un modèle à effets mixtes, la recommandation consiste à utiliser un effet fixe pour estimer un paramètre si tous les niveaux possibles sont inclus (par exemple, hommes et femmes). Il est en outre recommandé d'utiliser un effet aléatoire pour tenir compte d'une variable si les niveaux inclus ne sont qu'un échantillon aléatoire d'une population (patients inscrits de l'univers des patients possibles) et que vous souhaitez estimer la moyenne et la variance de la population au lieu des moyennes des niveaux de facteurs individuels.

Je me demande si vous êtes logiquement obligé de toujours utiliser un effet fixe de cette manière. Envisagez une étude sur la façon dont la taille du pied / de la chaussure change au cours du développement et est liée, par exemple, à la taille, au poids et à l'âge. ${\rm Side}$doit clairement être inclus dans le modèle pour tenir compte du fait que les mesures au fil des ans sont imbriquées dans un pied donné et ne sont pas indépendantes. De plus, droite et gauche sont toutes les possibilités qui peuvent exister. De plus, il peut être très vrai que pour un participant donné, son pied droit est plus grand (ou plus petit) que son gauche. Cependant, bien que la taille des pieds diffère quelque peu entre les pieds pour toutes les personnes, il n'y a aucune raison de croire que les pieds droits seront en moyenne plus grands que les pieds gauches. S'ils sont dans votre échantillon, cela est probablement dû à quelque chose sur la génétique des personnes de votre échantillon, plutôt qu'à quelque chose d'intrinsèque au pied droit. Enfin, semble être un paramètre de nuisance, pas quelque chose qui vous tient vraiment à cœur. ${\rm side}$

Permettez-moi de noter que j'ai inventé cet exemple. Ce n'est peut-être pas bon; c'est juste pour faire passer l'idée. Pour autant que je sache, avoir un gros pied droit et un petit pied gauche était nécessaire pour survivre au paléolithique.

Dans un cas comme celui-ci, serait-il (plus / moins / tout) logique d'incorporer dans le modèle comme un effet aléatoire? Quels seraient les avantages et les inconvénients de l'utilisation d'un effet fixe ou aléatoire ici? ${\rm side}$

Le problème général des effets «fixes» et «aléatoires» est qu'ils ne sont pas définis de manière cohérente. Andrew Gelman en cite plusieurs:

(1) Les effets fixes sont constants d'un individu à l'autre et les effets aléatoires varient. Par exemple, dans une étude de croissance, un modèle avec des intersections aléatoires et une pente fixe correspond à des lignes parallèles pour différents individus , ou le modèle . Kreft et De Leeuw (1998) distinguent ainsi les coefficients fixes et aléatoires.$a_i$$b$$i$$y_{it} = a_i + b_t$

(2) Les effets sont fixes s'ils sont intéressants en eux-mêmes ou aléatoires s'il existe un intérêt pour la population sous-jacente. Searle, Casella et McCulloch (1992, section 1.4) explorent cette distinction en profondeur.

(3) «Lorsqu'un échantillon épuise la population, la variable correspondante est fixe; lorsque l'échantillon est une petite partie (c.-à-d. négligeable) de la population, la variable correspondante est aléatoire. »(Green et Tukey, 1960)

(4) «Si un effet est supposé être une valeur réalisée d'une variable aléatoire, il est appelé un effet aléatoire.» (LaMotte, 1983)

(5) Les effets fixes sont estimés en utilisant les moindres carrés (ou, plus généralement, le maximum de vraisemblance) et les effets aléatoires sont estimés avec retrait («prédiction linéaire sans biais» dans la terminologie de Robinson, 1991). Cette définition est standard dans la littérature sur la modélisation à plusieurs niveaux (voir, par exemple, Snijders et Bosker, 1999, section 4.2) et en économétrie.

et constate qu'ils ne sont pas cohérents. Dans son livre Data Analysis Using Regression and Multilevel / Hierarchical Models, il évite généralement d'utiliser ces termes et dans leur travail, il se concentre sur les interceptions et les pentes fixes ou variables entre les groupes parce que

Les effets fixes peuvent être considérés comme des cas spéciaux d'effets aléatoires, dans lesquels la variance de niveau supérieur (dans le modèle (1.1), ce serait ) est définie sur ou . Par conséquent, dans notre cadre, tous les paramètres de régression sont «aléatoires» et le terme «multiniveaux» est universel.$\sigma^2_\alpha$$0$$\infty$

Cela est particulièrement vrai avec le cadre bayésien - couramment utilisé pour les modèles mixtes - où tous les effets sont aléatoires en soi. Si vous pensez bayésien, vous n'êtes pas vraiment préoccupé par les effets "fixes" et les estimations ponctuelles et vous n'avez aucun problème à traiter tous les effets comme aléatoires.

Plus je lis sur ce sujet, plus je suis convaincu qu'il s'agit plutôt d'une discussion idéologique sur ce que nous pouvons (ou devons) estimer et ce que nous ne pouvons que prédire (ici je pourrais également me référer à votre propre réponse ). Vous utilisez des effets aléatoires si vous avez un échantillon aléatoire de résultats possibles, vous n'êtes donc pas préoccupé par les estimations individuelles et vous vous souciez plutôt des effets sur la population, puis sur les individus. La réponse à votre question dépend donc aussi de ce que vous pensez si vous voulez ou pouvez estimer les effets fixes compte tenu de vos données. Si tous les niveaux possibles sont inclus dans vos données, vous pouvezestimer les effets fixes - aussi, comme dans votre exemple, le nombre de niveaux pourrait être petit et ce ne serait généralement pas bon pour estimer les effets aléatoires et il y a des exigences minimales pour cela .

Argument du meilleur scénario

Supposons que vous ayez des quantités illimitées de données et une puissance de calcul illimitée. Dans ce cas, vous pourriez imaginer estimer chaque effet comme fixe, car les effets fixes vous donnent plus de flexibilité (nous permettent de comparer les effets individuels). Cependant, même dans ce cas, la plupart d'entre nous hésiteraient à utiliser des effets fixes pour tout.

Par exemple, imaginez que vous souhaitez modéliser les résultats des examens des écoles d'une région et que vous disposez de données sur les 100 écoles de la région. Dans ce cas , vous pouvez les écoles de menace Déterminée - puisque vous avez des données sur tous les niveaux - mais dans la pratique , vous auriez probablement plutôt penser à eux comme au hasard. Pourquoi donc?

1. L'une des raisons est qu'en général, dans ce type de cas, vous n'êtes pas intéressé par les effets de chaque école (et il est difficile de les comparer tous), mais plutôt par une variabilité générale entre les écoles.

2. Un autre argument ici est la parcimonie du modèle. En général, vous n'êtes pas intéressé par le modèle «toutes les influences possibles», donc dans votre modèle, vous incluez peu d'effets fixes que vous souhaitez tester et contrôler pour les autres sources possibles de variabilité. Cela rend les modèles à effets mixtes adaptés à la façon générale de penser à la modélisation statistique où vous estimez quelque chose et contrôlez pour d'autres choses. Avec des données compliquées (multiniveaux ou hiérarchiques), vous avez de nombreux effets à inclure, vous en menacez donc certains comme «fixes» et d'autres comme «aléatoires» afin de les contrôler.

3. Dans ce scénario, vous ne penseriez pas non plus aux écoles comme chacune ayant sa propre et unique influence sur les résultats, mais plutôt aux écoles ayant une certaine influence en général. Cet argument serait donc que nous pensons qu'il n'est pas vraiment possible d'estimer les effets uniques de chaque école et nous les menaçons donc comme un échantillon aléatoire des effets possibles des écoles.

Les modèles d'effets mixtes se situent quelque part entre les scénarios «tout fixe» et «tout aléatoire». Les données que nous rencontrons nous font baisser nos attentes à propos de tout estimer comme des effets fixes, nous décidons donc quels effets nous voulons comparer et quels effets nous voulons contrôler, ou avons un sentiment général sur leur influence. Il ne s'agit pas seulement de ce que sont les données, mais aussi de la façon dont nous pensons aux données tout en les modélisant.

Résumé

On dit en effet souvent que si tous les niveaux de facteurs possibles sont inclus dans un modèle mixte, alors ce facteur doit être traité comme un effet fixe. Ce n'est pas nécessairement vrai POUR DEUX RAISONS DISTINCTES:

(1) Si le nombre de niveaux est élevé, il peut être judicieux de traiter le facteur [croisé] comme aléatoire.

Je suis d'accord avec @Tim et @RobertLong ici: si un facteur a un grand nombre de niveaux qui sont tous inclus dans le modèle (comme par exemple tous les pays du monde; ou toutes les écoles d'un pays; ou peut-être la population entière de les sujets sont sondés, etc.), alors il n'y a rien de mal à le traiter comme aléatoire --- cela pourrait être plus parcimonieux, pourrait fournir un certain rétrécissement, etc.

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) Si le facteur est imbriqué dans un autre effet aléatoire, alors il doit être traité comme aléatoire, indépendamment de son nombre de niveaux.

Il y avait une énorme confusion dans ce fil (voir les commentaires) parce que les autres réponses concernent le cas # 1 ci-dessus, mais l'exemple que vous avez donné est un exemple d'une situation différente , à savoir ce cas # 2. Ici, il n'y a que deux niveaux (c'est-à-dire pas du tout "un grand nombre"!) Et ils épuisent toutes les possibilités, mais ils sont imbriqués dans un autre effet aléatoire , produisant un effet aléatoire imbriqué.

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

---

Discussion détaillée de votre exemple

Les côtés et les sujets de votre expérience imaginaire sont liés comme les classes et les écoles dans l'exemple de modèle hiérarchique standard. Peut-être que chaque école (# 1, # 2, # 3, etc.) a une classe A et une classe B, et ces deux classes sont censées être à peu près les mêmes. Vous ne modéliserez pas les classes A et B comme un effet fixe avec deux niveaux; Ce serait une erreur. Mais vous ne modéliserez pas non plus les classes A et B comme un effet aléatoire "séparé" (c'est-à-dire croisé) avec deux niveaux; ce serait aussi une erreur. Au lieu de cela, vous modéliserez les classes comme un effet aléatoire imbriqué à l' intérieur des écoles.

Voir ici: Effets aléatoires croisés vs imbriqués: en quoi diffèrent-ils et comment sont-ils correctement spécifiés dans lme4?

$i=1\ldots n$$j=1,2$

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk}+\epsilon_i + \color{red}{\epsilon_{ij}} + \epsilon_{ijk}$$ $$\epsilon_i\sim\mathcal N(0,\sigma^2_\mathrm{subjects}),\quad\quad\text{Random intercept for each subject}$$ $$\color{red}{\epsilon_{ij}}\sim\mathcal N(0,\sigma^2_\text{subject-side}),\quad\quad\text{Random int. for side nested in subject}$$ $$\epsilon_{ijk}\sim\mathcal N(0,\sigma^2_\text{noise}),\quad\quad\text{Error term}$$

Comme vous l'avez écrit vous-même, "il n'y a aucune raison de croire que le pied droit sera en moyenne plus grand que le pied gauche". Il ne devrait donc pas y avoir d'effet "global" (ni fixe ni croisé au hasard) du pied droit ou gauche du tout; à la place, chaque sujet peut être pensé comme ayant «un» pied et «un autre» pied, et cette variabilité devrait être incluse dans le modèle. Ces pieds "un" et "un autre" sont imbriqués dans les sujets, d'où des effets aléatoires imbriqués.

Plus de détails en réponse aux commentaires. [26 sept.]

Mon modèle ci-dessus inclut Side comme effet aléatoire imbriqué dans Subjects. Voici un modèle alternatif, proposé par @Robert, où Side est un effet fixe:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} + \color{red}{\delta\cdot\text{Side}_j}+\epsilon_i + \epsilon_{ijk}$$

$ij$

Ça ne peut pas.

Il en va de même pour le modèle hypothétique de @ gung avec Side comme effet aléatoire croisé:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} +\epsilon_i + \color{red}{\epsilon_j} + \epsilon_{ijk}$$

Il ne tient pas compte non plus des dépendances.

Démonstration via une simulation [2 octobre]

Voici une démonstration directe dans R.

Je génère un ensemble de données de jouets avec cinq sujets mesurés sur les deux pieds pendant cinq années consécutives. L'effet de l'âge est linéaire. Chaque sujet a une interception aléatoire. Et chaque sujet a un des pieds (gauche ou droit) plus grand qu'un autre.

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

Toutes mes excuses pour mes terribles compétences en R. Voici à quoi ressemblent les données (chaque cinq points consécutifs représente un pied d'une personne mesuré au fil des ans; chaque dix points consécutifs représente deux pieds de la même personne):

Maintenant, nous pouvons adapter un tas de modèles:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

Tous les modèles incluent un effet fixe ageet un effet aléatoire de subject, mais traitent sidedifféremment.

1. sideage$t=1.8$

2. sideage$t=1.4$

3. sideage$t=37$

Cela montre clairement que cela sidedevrait être traité comme un effet aléatoire imbriqué.

Enfin, dans les commentaires, @Robert a suggéré d'inclure l'effet global de sidecomme variable de contrôle. Nous pouvons le faire, tout en conservant l'effet aléatoire imbriqué:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

side$t=0.5$side

Pour ajouter aux autres réponses:

Je ne pense pas que vous soyez logiquement obligé de toujours utiliser un effet fixe de la manière décrite dans le PO. Même lorsque les définitions / lignes directrices habituelles sur le moment de traiter un facteur comme aléatoire ne sont pas respectées, je pourrais être enclin à le modéliser comme aléatoire lorsqu'il existe un grand nombre de niveaux, de sorte que le traitement du facteur comme fixe consomme de nombreux degrés de liberté et aboutir à un modèle encombrant et moins parcimonieux.

Si vous parlez de la situation où vous connaissez tous les niveaux possibles d'un facteur d'intérêt et avez également des données pour estimer les effets, alors vous n'avez certainement pas besoin de représenter des niveaux avec des effets aléatoires.

La raison pour laquelle vous souhaitez définir un effet aléatoire sur un facteur est que vous souhaitez faire une inférence sur les effets de tous les niveaux de ce facteur, qui sont généralement inconnus. Pour faire ce genre d'inférence, vous imposez l'hypothèse que les effets de tous les niveaux forment une distribution normale en général. Mais étant donné votre problème, vous pouvez estimer les effets de tous les niveaux. Ensuite, il n'est certainement pas nécessaire de définir des effets aléatoires et d'imposer des hypothèses supplémentaires.

C'est comme dans la situation où vous pouvez obtenir toutes les valeurs de la population (vous connaissez donc la vraie moyenne), mais vous essayez de prendre un grand échantillon de la population et d'utiliser le théorème de la limite centrale pour approximer la distribution d'échantillonnage, puis faire l'inférence sur la vraie moyenne.