En termes simples, comment expliqueriez-vous (peut-être avec des exemples simples) la différence entre les modèles à effets fixes, à effets aléatoires et à effets mixtes?

Le statisticien Andrew Gelman affirme que les termes «effet fixe» et «effet aléatoire» ont des significations variables en fonction de leur utilisateur. Peut-être pourrez-vous choisir laquelle des 5 définitions s’applique à votre cas. En général, il peut être préférable de rechercher des équations décrivant le modèle de probabilité que les auteurs utilisent (lors de la lecture) ou d'écrire le modèle de probabilité complet que vous souhaitez utiliser (lors de l'écriture).

Nous décrivons ici cinq définitions que nous avons vues:

1. Les effets fixes sont constants d'un individu à l'autre et les effets aléatoires varient. Par exemple, dans une étude de croissance, un modèle avec des interceptions aléatoires et une pente fixe correspond à des lignes parallèles pour différents individus , ou au modèle . Kreft et De Leeuw (1998) distinguent ainsi les coefficients fixes et aléatoires. Ib i y i t = a i + b $a_i$$b$$i$$y_{it} = a_i + b t$

2. Les effets sont fixes s'ils sont intéressants en eux-mêmes ou aléatoires s'il y a un intérêt pour la population sous-jacente. Searle, Casella et McCulloch (1992, section 1.4) explorent cette distinction en profondeur.

3. «Lorsqu'un échantillon épuise la population, la variable correspondante est fixée; lorsque l'échantillon est constitué d'une petite partie (c.-à-d. négligeable) de la population, la variable correspondante est aléatoire. "(Green et Tukey, 1960)

4. "Si un effet est supposé être la valeur réalisée d'une variable aléatoire, on l'appelle un effet aléatoire." (LaMotte, 1983)

5. Les effets fixes sont estimés à l'aide des moindres carrés (ou, plus généralement, du maximum de vraisemblance) et les effets aléatoires, par rétrécissement ("prédiction linéaire non biaisée" dans la terminologie de Robinson, 1991). Cette définition est standard dans la littérature sur la modélisation à plusieurs niveaux (voir, par exemple, Snijders et Bosker, 1999, section 4.2) et en économétrie.

[ Gelman, 2004, Analyse de la variance: pourquoi c'est plus important que jamais. Les annales de la statistique. ]

Il existe de bons livres sur ce sujet, tels que Gelman et Hill . Ce qui suit est essentiellement un résumé de leur perspective.

Tout d'abord, vous ne devriez pas vous perdre dans la terminologie. En statistique, le jargon ne devrait jamais être utilisé comme substitut à une compréhension mathématique des modèles eux-mêmes. Cela est particulièrement vrai pour les modèles à effets aléatoires et à effets mixtes. "Mixte" signifie simplement que le modèle a des effets fixes et aléatoires, nous allons donc nous concentrer sur la différence entre fixe et aléatoire.

Effets aléatoires ou fixes

Supposons que vous disposiez d'un modèle avec un prédicteur catégorique, qui divise vos observations en groupes en fonction des valeurs de catégorie. * Les coefficients du modèle, ou "effets", associés à ce prédicteur, peuvent être fixes ou aléatoires. La différence pratique la plus importante entre les deux est la suivante:

Les effets aléatoires sont estimés avec la mise en commun partielle, alors que les effets fixes ne le sont pas.

La mise en commun partielle signifie que, si vous avez peu de points de données dans un groupe, l'estimation de l'effet du groupe sera partiellement basée sur les données plus abondantes d'autres groupes. Cela peut constituer un bon compromis entre l'estimation d'un effet en regroupant complètement tous les groupes, ce qui masque les variations au niveau du groupe, et l'estimation d'un effet pour tous les groupes de manière totalement séparée, ce qui pourrait donner des estimations médiocres pour les groupes peu échantillonnés.

Les effets aléatoires sont simplement l’extension de la technique de la mise en commun partielle en tant que modèle statistique polyvalent. Cela permet d'appliquer l'idée de principe à une grande variété de situations, y compris de multiples prédicteurs, des variables mixtes continues et catégorielles et des structures de corrélation complexes. (Mais avec un grand pouvoir vient une grande responsabilité: la complexité de la modélisation et de l'inférence est considérablement accrue et peut donner lieu à des biais subtils qui nécessitent une sophistication considérable pour être évités.)

Pour motiver le modèle à effets aléatoires, posez-vous la question suivante: pourquoi créeriez-vous un pool partiel? Probablement parce que vous pensez que les petits sous-groupes font partie d'un groupe plus important ayant un effet moyen commun. Les moyennes des sous-groupes peuvent différer un peu des moyennes des grands groupes, mais pas d'un montant arbitraire. Pour formaliser cette idée, nous postulons que les déviations suivent une distribution, typiquement gaussienne. C'est là qu'intervient le "aléatoire" dans les effets aléatoires: nous supposons que les déviations des sous-groupes par rapport à un parent suivent la distribution d'une variable aléatoire. Une fois que vous avez cette idée en tête, les équations du modèle à effets mixtes suivent naturellement.

Malheureusement, les utilisateurs de modèles à effets mixtes ont souvent de fausses idées préconçues sur ce que sont les effets aléatoires et en quoi ils diffèrent des effets fixes. Les gens entendent "aléatoire" et pensent que le système modélisé a une signification particulière: les effets fixes doivent être utilisés lorsque quelque chose est "fixe", tandis que les effets aléatoires doivent être utilisés lorsque quelque chose est "échantillonné au hasard". Mais rien n’est particulièrement aléatoire de supposer que les coefficients du modèle proviennent d’une distribution; il est juste une contrainte douce, semblable à la pénalité appliquée à des coefficients de modèle dans la régression de la crête. Il existe de nombreuses situations dans lesquelles vous pouvez ou ne souhaitez pas utiliser les effets aléatoires, et cela n’a pas nécessairement beaucoup à voir avec la distinction entre "fixe" et "fixe".$\ell_2$

Malheureusement, la confusion conceptuelle causée par ces termes a conduit à une profusion de définitions contradictoires . Sur les cinq définitions de ce lien, seul le n ° 4 est tout à fait correct dans le cas général, mais il est également totalement dénué d’information. Vous devez lire des articles et des livres entiers (ou, à défaut, cet article) pour comprendre ce que cette définition implique dans le travail pratique.

Exemple

Examinons un cas où la modélisation par effets aléatoires pourrait être utile. Supposons que vous souhaitiez estimer le revenu moyen des ménages américains par code postal. Vous disposez d'un grand ensemble de données contenant des observations sur les revenus des ménages et les codes ZIP. Certains codes postaux sont bien représentés dans l'ensemble de données, mais d'autres ne comptent que quelques ménages.

Pour votre modèle initial, vous prendrez probablement le revenu moyen dans chaque ZIP. Cela fonctionnera bien si vous avez beaucoup de données pour un ZIP, mais les estimations pour vos ZIP mal échantillonnés souffriront d'une variance élevée. Vous pouvez atténuer cela en utilisant un estimateur de retrait (pooling partiel), qui poussera les valeurs extrêmes vers le revenu moyen sur tous les codes ZIP.

Mais combien de retrait / regroupement devriez-vous faire pour un ZIP en particulier? Intuitivement, cela dépend des éléments suivants:

1. Combien d'observations que vous avez dans ce ZIP
2. Combien d'observations vous avez globalement
3. Le niveau individuel moyenne et la variance du revenu des ménages dans tous les codes postaux
4. La variance au niveau du groupe dans le revenu moyen des ménages pour tous les codes postaux

Si vous modélisez le code postal comme un effet aléatoire, l’estimation du revenu moyen dans tous les codes postaux sera soumise à un rétrécissement statistiquement fondé, en tenant compte de tous les facteurs susmentionnés.

La meilleure partie est que les modèles à effets aléatoires et à effets mixtes gèrent automatiquement (4), l’estimation de la variabilité, tous les effets aléatoires du modèle. C'est plus difficile qu'il n'y parait à première vue: vous pouvez essayer la variance de la moyenne de l'échantillon pour chaque ZIP, mais ce sera biaisé, car une partie de la variance entre les estimations pour différentes ZIP n'est que la variance d'échantillonnage. Dans un modèle à effets aléatoires, le processus d'inférence tient compte de la variance d'échantillonnage et réduit l'estimation de la variance en conséquence.

Après avoir pris en compte (1) - (4), un modèle à effets aléatoires / à effets mixtes est en mesure de déterminer le retrait approprié pour les groupes à faible échantillon. Il peut également gérer des modèles beaucoup plus compliqués avec de nombreux prédicteurs différents.

Relation avec la modélisation hiérarchique bayésienne

Si cela vous semble une modélisation bayésienne hiérarchique, vous avez raison, c’est un parent proche mais pas identique. Les modèles à effets mixtes sont hiérarchiques en ce sens qu'ils postulent des distributions pour des paramètres latents non observés, mais ils ne sont généralement pas entièrement bayésiens, car les hyperparamètres de niveau supérieur ne recevront pas de prieurs appropriés. Par exemple, dans l'exemple ci-dessus, nous traiterions probablement le revenu moyen dans une PIZ donnée comme un échantillon d'une distribution normale, avec une moyenne et un sigma inconnus à estimer par le processus d'ajustement à effets mixtes. Cependant, un modèle à effets mixtes (non bayésien) n'aura généralement pas de priorité sur la moyenne inconnue et le sigma, il n'est donc pas totalement bayésien. Cela dit, avec un ensemble de données de taille décente, le modèle à effets mixtes standard et la variante entièrement bayésienne donneront souvent des résultats très similaires.

* Bien que de nombreux traitements de ce sujet se concentrent sur une définition étroite du "groupe", le concept est en réalité très flexible: il ne s'agit que d'un ensemble d'observations partageant une propriété commune. Un groupe peut être composé de plusieurs observations d'une seule personne ou de plusieurs personnes dans une école ou de plusieurs écoles d'un district, ou de plusieurs variétés d'un même type de fruit ou de plusieurs types de légumes de la même récolte ou de plusieurs récoltes. du même genre de légume, etc. Toute variable catégorique peut être utilisée comme variable de regroupement.

J'ai écrit à ce sujet dans un chapitre de livre sur les modèles mixtes (chapitre 13 de Fox, Negrete-Yankelevich et Sosa 2014 ); les pages correspondantes (pp. 311-315) sont disponibles sur Google Books . Je pense que la question se réduit à "quelles sont les définitions des effets fixes et aléatoires?" (Un "modèle mixte" est juste un modèle qui contient les deux). Ma discussion en dit un peu moins sur leur définition formelle (pour laquelle je reviendrais sur l'article de Gelman lié par la réponse de @ JohnSalvatier ci-dessus) et davantage sur leurs propriétés pratiques et leur utilité. Voici quelques extraits:

La vision traditionnelle des effets aléatoires consiste à effectuer des tests statistiques corrects lorsque certaines observations sont corrélées.

Nous pouvons également penser aux effets aléatoires comme un moyen de combiner des informations de différents niveaux au sein d’une variable de regroupement.

Les effets aléatoires sont particulièrement utiles lorsque nous avons (1) beaucoup de niveaux (par exemple beaucoup d'espèces ou de blocs), (2) relativement peu de données sur chaque niveau (bien que nous ayons besoin de plusieurs échantillons de la plupart des niveaux) et (3) inégaux. échantillonnage sur plusieurs niveaux (encadré 13.1).

Frequentists et Bayesians définissent les effets aléatoires un peu différemment, ce qui affecte leur utilisation. Les Frequentists définissent les effets aléatoires en tant que variables catégoriques dont les niveaux sont choisis au hasard dans une population plus largepar exemple, des espèces choisies au hasard dans une liste d’espèces endémiques. Les bayésiens définissent les effets aléatoires comme des ensembles de variables dont les paramètres sont [tous] tirés de [la même] distribution. La définition fréquentiste est philosophiquement cohérente, et vous rencontrerez des chercheurs (y compris des réviseurs et des superviseurs) qui y insistent, mais cela peut être pratiquement problématique. Par exemple, cela implique que vous ne pouvez pas utiliser les espèces comme effet aléatoire lorsque vous avez observé toutes les espèces sur votre site, car la liste des espèces ne constitue pas un échantillon d'une population plus importante, ou utilisez l'année comme effet aléatoire. Les chercheurs réalisant rarement une expérience au cours d'années échantillonnées au hasard, ils utilisent généralement soit une série d'années consécutives, soit une série aléatoire d'années où ils pourraient se rendre sur le terrain.

Les effets aléatoires peuvent également être décrits comme des variables prédictives dans lesquelles vous souhaitez faire des déductions sur la distribution des valeurs (c'est-à-dire la variance entre les valeurs de la réponse à différents niveaux) plutôt que de tester les différences de valeurs entre des niveaux particuliers.

Les gens disent parfois que les effets aléatoires sont des «facteurs qui ne vous intéressent pas». Ce n'est pas toujours vrai. C'est souvent le cas dans les expériences écologiques (où la variation entre sites n'est généralement qu'une nuisance), mais cela présente parfois un grand intérêt, par exemple dans les études sur l'évolution où la variation entre génotypes est la matière première de la sélection naturelle ou dans les études démographiques. où la variation interannuelle réduit les taux de croissance à long terme. Dans certains cas, les effets fixes sont également utilisés pour contrôler les variations inintéressantes, par exemple en utilisant la masse comme covariable pour contrôler les effets de la taille corporelle.

Vous entendrez également que «vous ne pouvez rien dire à propos de la valeur (prévue) d'un mode conditionnel». Ce n'est pas vrai non plus. Vous ne pouvez pas tester formellement une hypothèse nulle selon laquelle la valeur est égale à zéro ou les valeurs de deux niveaux différents sont égales, mais il est tout à fait judicieux de regarder la valeur prédite et même de calculer une erreur standard de la valeur prédite (par exemple, voir les barres d'erreur autour des modes conditionnels dans la figure 13.1).

$\textrm{species_mean} \sim {\cal N}(\textrm{genus_mean}, \sigma^2_{\textrm{species}})$

J'ai dit plus haut que les effets aléatoires sont les plus utiles lorsque la variable de regroupement comporte de nombreux niveaux mesurés. Inversement, les effets aléatoires sont généralement inefficaces lorsque la variable de regroupement a trop peu de niveaux. Vous ne pouvez généralement pas utiliser d'effets aléatoires lorsque la variable de regroupement comporte moins de cinq niveaux et que les estimations de la variance des effets aléatoires sont instables avec moins de huit niveaux, car vous essayez d'estimer une variance à partir d'un très petit échantillon.

Effet fixe: quelque chose que l'expérimentateur manipule directement et peut souvent être répété, par exemple, l'administration d'un médicament - un groupe reçoit un médicament, un groupe reçoit un placebo.

Effet aléatoire: Source de variation aléatoire / unités expérimentales, par exemple, individus tirés (au hasard) d'une population pour un essai clinique. Les effets aléatoires estiment la variabilité

Effet mixte: inclut les deux; l’effet fixe dans ces cas est l’estimation des coefficients au niveau de la population, tandis que les effets aléatoires peuvent expliquer les différences individuelles en réponse à un effet, par exemple, chaque personne reçoit à la fois le médicament et le placebo à différentes effect estime l'effet de la drogue, les termes à effets aléatoires permettraient à chaque personne de réagir différemment à la drogue.

Catégories générales d'effets mixtes - mesures répétées, longitudinales, hiérarchiques, en parcelles divisées.

Je suis venu à cette question à partir d' ici , un doublon possible.

Il existe déjà plusieurs excellentes réponses, mais comme indiqué dans la réponse acceptée, il existe de nombreuses utilisations différentes (mais apparentées) du terme. Il pourrait donc être utile de donner la perspective telle qu’elle est utilisée en économétrie, qui ne semble pas encore totalement abordée ici. .

$$y_{it}=X_{it}\delta+\alpha_i+\eta_{it},$$ $\alpha_i$$\eta_{it}$

$\alpha_i$

$\alpha_i$$X_{it}$$Cov(\alpha_i,X_{it})=0$

$y$$X$$y_{it}$$X_{it}$

$\alpha_i$$X_{it}$$i$$X_{it}=0$$X_{it}$

$\delta$$t$$\alpha_i$$X_{it}$

$T$m

Voici le code qui génère les données et qui produit une estimation RE positive et une estimation FE "correcte" et négative. (Cela dit, les estimations de l'ER seront souvent négatives pour les autres semences, voir ci-dessus.)

library(Jmisc)
library(plm)
library(RColorBrewer)
# FE illustration
set.seed(324)
m = 8
n = 12

step = 5
alpha = runif(n,seq(0,step*n,by=step),seq(step,step*n+step,by=step))
beta = -1
y = X = matrix(NA,nrow=m,ncol=n)
for (i in 1:n) {
  X[,i] = runif(m,i,i+1)
  X[,i] = rnorm(m,i)
  y[,i] = alpha[i] + X[,i]*beta + rnorm(m,sd=.75)  
}
stackX = as.vector(X)
stackY = as.vector(y)

darkcols <- brewer.pal(12, "Paired")
plot(stackX,stackY,col=rep(darkcols,each=m),pch=19)

unit = rep(1:n,each=m)
# first two columns are for plm to understand the panel structure
paneldata = data.frame(unit,rep(1:m,n),stackY,stackX) 
fe <- plm(stackY~stackX, data = paneldata, model = "within")
re <- plm(stackY~stackX, data = paneldata, model = "random")

Le résultat:

> fe

Model Formula: stackY ~ stackX

Coefficients:
 stackX 
-1.0451 


> re

Model Formula: stackY ~ stackX

Coefficients:
(Intercept)      stackX 
   18.34586     0.77031 

La distinction n’a de sens que dans le contexte des statistiques non bayésiennes. Dans les statistiques bayésiennes, tous les paramètres du modèle sont "aléatoires".

En économétrie, les termes sont généralement appliqués dans les modèles linéaires généralisés, où le modèle est de la forme

$$y_{it} = g(x_{it} \beta + \alpha_i + u_{it}).$$

$\alpha_i \perp u_{it}$

$\alpha_i \not \perp u_{it}$

Dans les modèles linéaires , la présence d'un effet aléatoire n'entraîne pas d'incohérence de l'estimateur MCO. Cependant, l'utilisation d'un estimateur à effets aléatoires (comme les moindres carrés généralisés réalisables) permettra d'obtenir un estimateur plus efficace .

Dans les modèles non linéaires , tels que probit, tobit, ..., la présence d'un effet aléatoire entraînera généralement un estimateur incohérent. L'utilisation d'un estimateur à effets aléatoires rétablira la cohérence.

Pour les modèles linéaires et non linéaires, les effets fixes entraînent un biais. Toutefois, dans les modèles linéaires, certaines transformations peuvent être utilisées (telles que les premières différences ou les dégradations), pour lesquelles les MLS des données transformées donneront lieu à des estimations cohérentes. Pour les modèles non linéaires, il existe quelques exceptions où des transformations existent, par exemple les effets fixes logit .

Exemple: probit à effets aléatoires. Supposer

$$y^*_{it} = x_{it} \beta + \alpha_i + u_{it}, \quad \alpha_i \sim \mathcal{N}(0,\sigma_\alpha^2), u_{it} \sim \mathcal{N}(0,1).$$

et le résultat observé est

$$y_{it} = \mathbb{1}(y^*_{it} > 0).$$

L’ estimateur du maximum de vraisemblance groupé minimise la moyenne de l’échantillon de

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \prod_{t=1}^T [G(x_{it}\beta)]^{y_{it}} [1 - G(x_{it}\beta)] ^{1-y_{it}}.$$

Bien sûr, ici le journal et le produit sont simplifiés, mais pour des raisons pédagogiques, cela rend l’équation plus comparable à l’estimateur à effets aléatoires, qui a la forme suivante:

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \int \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}} \phi(a) \mathrm{d}a.$$

$R$

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log R^{-1} \sum_{r=1}^R \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a_r)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}},\quad a_r \sim \mathcal{N}(0,1).$$

$\alpha_i$$i$$T$ -Séquence des observations.

Ce n'est pas vraiment une définition formelle, mais j'aime bien les diapositives suivantes: Modèles mixtes et pourquoi les sociolinguistes devraient les utiliser ( miroir ), de Daniel Ezra Johnson. Une brève récapitulation est proposée sur la diapositive 4. Bien qu’elle se concentre principalement sur les études psycholinguistiques, elle est très utile dans un premier temps.

Une autre perspective très pratique sur les modèles à effets fixes et aléatoires provient de l'économétrie lorsque vous effectuez des régressions linéaires sur des données de panel . Si vous estimez le lien entre une variable explicative et une variable de résultat dans un jeu de données comportant plusieurs échantillons par individu / groupe, vous utiliserez ce cadre.

Un bon exemple de données de panel est constitué par les mesures annuelles d'un groupe d'individus de:

• $gender_i$$i$
• ${\Delta}weight_{it}$$t$$i$
• $exercise_{it}$$t$$i$

Si nous essayons de comprendre la relation entre l'exercice et le changement de poids, nous allons configurer la régression suivante:

${\Delta}weight_{it} = \beta_0$$exercise_{it} + \beta_1gender_i + \alpha_i + \epsilon_{it}$

• $\beta_0$
• $\beta_1$
• $\alpha_i$
• $\epsilon_{it}$

$\beta_0$$\beta_0$

$\alpha_i$$\beta_1$$gender_i$$\alpha_i$

La question clé est donc de déterminer quel modèle est approprié. La réponse est le test Hausman . Pour l'utiliser, nous effectuons la régression des effets fixes et aléatoires, puis appliquons le test de Hausman pour voir si leurs estimations de coefficients divergent de manière significative. S'ils divergent, l'endogénéité est en jeu et un modèle à effets fixes est le meilleur choix. Sinon, nous allons aller avec des effets aléatoires.