Effets fixes vs effets aléatoires

10

J'ai récemment commencé à apprendre les modèles mixtes linéaires généralisés et j'utilisais R pour explorer la différence que cela fait de traiter l'appartenance à un groupe comme un effet fixe ou aléatoire. En particulier, je regarde l'exemple de jeu de données discuté ici:

http://www.ats.ucla.edu/stat/mult_pkg/glmm.htm

http://www.ats.ucla.edu/stat/r/dae/melogit.htm

Comme indiqué dans ce tutoriel, l'effet de Doctor ID est appréciable et je m'attendais à ce que le modèle mixte avec une interception aléatoire donne de meilleurs résultats. Cependant, la comparaison des valeurs AIC pour les deux méthodes suggère que ce modèle est pire:

> require(lme4) ; hdp = read.csv("http://www.ats.ucla.edu/stat/data/hdp.csv")
> hdp$DID = factor(hdp$DID) ; hdp$Married = factor(hdp$Married)
> GLM = glm(remission~Age+Married+IL6+DID,data=hdp,family=binomial);summary(GLM)

Call:
glm(formula = remission ~ Age + Married + IL6 + DID, family = binomial, 
data = hdp)

Deviance Residuals: 
Min       1Q   Median       3Q      Max  
-2.5265  -0.6278  -0.2272   0.5492   2.7329  

Coefficients:
              Estimate Std. Error z value Pr(>|z|)    
(Intercept) -1.560e+01  1.219e+03  -0.013    0.990    
Age         -5.869e-02  5.272e-03 -11.133  < 2e-16 ***
Married1     2.688e-01  6.646e-02   4.044 5.26e-05 ***
IL6         -5.550e-02  1.153e-02  -4.815 1.47e-06 ***
DID2         1.805e+01  1.219e+03   0.015    0.988    
DID3         1.932e+01  1.219e+03   0.016    0.987   

[...]

DID405       1.566e+01  1.219e+03   0.013    0.990    
DID405       1.566e+01  1.219e+03   0.013    0.990    
DID406      -2.885e-01  3.929e+03   0.000    1.000    
DID407       2.012e+01  1.219e+03   0.017    0.987    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

Null deviance: 10353  on 8524  degrees of freedom
Residual deviance:  6436  on 8115  degrees of freedom
AIC: 7256

Number of Fisher Scoring iterations: 17


> GLMM = glmer(remission~Age+Married+IL6+(1|DID),data=hdp,family=binomial) ; m

Generalized linear mixed model fit by the Laplace approximation 
Formula: remission ~ Age + Married + IL6 + (1 | DID) 
Data: hdp 
AIC  BIC logLik deviance
7743 7778  -3867     7733
Random effects:
Groups Name        Variance Std.Dev.
DID    (Intercept) 3.8401   1.9596  
Number of obs: 8525, groups: DID, 407

Fixed effects:
             Estimate Std. Error z value Pr(>|z|)    
(Intercept)  1.461438   0.272709   5.359 8.37e-08 ***
Age         -0.055969   0.005038 -11.109  < 2e-16 ***
Married1     0.260065   0.063736   4.080 4.50e-05 ***
IL6         -0.053288   0.011058  -4.819 1.44e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Correlation of Fixed Effects:
         (Intr) Age    Marrd1
Age      -0.898              
Married1  0.070 -0.224       
IL6      -0.162  0.012 -0.033


> extractAIC(GLM) ; extractAIC(GLMM)

[1]  410.000 7255.962
[1]    5.000 7743.188

Ainsi, mes questions sont:

(1) Est-il approprié de comparer les valeurs AIC fournies par les deux fonctions? Si oui, pourquoi le modèle à effet fixe fait-il mieux?

(2) Quelle est la meilleure façon d'identifier si les effets fixes ou aléatoires sont plus importants (c.-à-d. Pour quantifier que la variabilité due au médecin est plus importante que les caractéristiques du patient?

r random-effects-model glmm Guest333
la source

7

Les modèles à effets fixes et les modèles à effets aléatoires posent différentes questions sur les données. La spécification d'un ensemble de variables fictives au niveau du groupe contrôle essentiellement toute l'hétérogénéité non observée au niveau du groupe dans la réponse moyenne, laissant vos estimations refléter uniquement la variabilité au sein des unités. Les modèles à effets aléatoires partent de l'hypothèse qu'il existe une métapopulation de (quel que soit l'effet) et que votre échantillon reflète de nombreux tirages de cette population. Ainsi, plutôt que d'ancrer vos résultats autour d'interceptions hétérogènes, vos données seront utilisées pour élucider les paramètres de cette distribution (généralement normale) à partir de laquelle vos données auraient été tirées.

On dit souvent que les modèles à effets fixes sont bons pour effectuer l'inférence sur les données dont vous disposez, et que les modèles à effets aléatoires sont bons pour essayer de faire l'inférence sur une population plus large à partir de laquelle vos données sont un échantillon aléatoire.

Lorsque j'ai découvert les modèles à effets fixes, ils étaient motivés à l'aide de composants d'erreur et de données de panel. Prendre plusieurs observations d'une unité donnée et un traitement aléatoire au temps . $t$

y_{i t} = α_{i} + β T_{i t} + ϵ_{i t}

$y_{it} = \alpha_i + \beta T_{it} + \epsilon_{it}$

Vous pouvez décomposer votre terme d'erreur en cette composante de votre terme d'erreur qui varie dans le temps et qui ne le fait pas:

y_{i t} = α_{i} + β T_{i t} + e_{i} + u_{i t}

$y_{it} = \alpha_i + \beta T_{it} + e_i + u_{it}$

Soustrayez maintenant la moyenne par groupe des deux côtés:

y_{i t} - {\bar{y}}_{i} = α_{i} - {\bar{α}}_{i} + β (T_{i t} - {\bar{T}}_{i}) + e_{i} - {\bar{e}}_{i} + u_{i t} - {\bar{u}}_{i} t

$y_{it} - \bar y_i = \alpha_i - \bar \alpha_i + \beta \left(T_{it}- \bar T_i\right) + e_i - \bar e_i+ u_{it}- \bar u_it$

Les choses qui ne sont pas souscrites par sortent de l'équation par soustraction de base - c'est-à-dire que la moyenne dans le temps est la même qu'à tout moment si elle ne change jamais. Cela inclut votre composante non variable dans le temps de votre terme d'erreur. Vos estimations ne sont donc pas confondues par une hétérogénéité invariante dans le temps. $t$

Cela ne fonctionne pas tout à fait pour un modèle à effets aléatoires - vos variables non indexées en ne seront pas supprimées par cette transformation (la transformation "dans"). En tant que tel, vous pouvez tirer des conclusions sur les effets de choses qui ne varient pas au sein d'un groupe. Dans le monde réel, ces choses ont de l'importance. Ainsi, les effets aléatoires sont bons pour «modéliser les données», tandis que les modèles à effets fixes sont bons pour se rapprocher d'estimations non biaisées de termes particuliers. Avec un modèle à effets aléatoires, vous ne pouvez pas prétendre avoir entièrement supprimé cet . $t$ $e_i$

Dans cet exemple, le temps est la variable de regroupement. Dans votre exemple, c'est DID. (ie: il généralise)

utilisateur_générique
la source

1

1) Il convient de faire la comparaison, mais pas avec ces deux modèles. Vous souhaitez comparer:

GLM <- glm(remission~Age+Married+IL6, data=hdp, family=binomial)

avec

GLMM <- glmer(remission~Age+Married+IL6+(1|DID), data=hdp, family=binomial)

et vous pouvez le faire avec un anova:

anova(GLM, GLMM)

(Je ne sais pas si cela fonctionnera avec les résultats glmet glmer, car ils peuvent être différents objets R. Vous devrez peut-être utiliser deux fonctions qui ont des objets de retour comparables, comme lmeet gls, ou faites vous-même l'anova.)

L'anova effectuera un test de rapport log-vraisemblance pour voir si l'ajout de l'effet de docteur aléatoire est significatif. Vous devez diviser cette valeur de p par 2 avant de déclarer la signification, car vous testez l'hypothèse nulle selon laquelle l'effet docteur aléatoire est 0, et 0 se trouve à la limite de l'espace des paramètres pour une variance (la distribution réelle que vous utilisez dans le test est un mélange de la et - mais je suis près de la limite de ma propre ignorance à ce stade). $\chi^2_0$ $\chi^2_1$

Pour moi, le meilleur livre pour comprendre le processus de construction de modèles imbriqués et les tests d'hypothèses a été West, Welsh et Galecki (2007) Linear Mixed Models: A pratique guide . Ils passent par tout étape par étape.

2) Si vous avez plusieurs observations par patient, vous ajouterez également un effet aléatoire pour le patient. Ensuite, pour tester l'importance relative de la patience par rapport au médecin, vous pouvez examiner les effets prédictifs du patient par rapport aux effets prédictifs pour le médecin. Les termes d'effets aléatoires pour chacun quantifieront la quantité de variance entre les patients et entre les médecins, si c'est une question qui vous intéresse.

(Quelqu'un veuillez me corriger si je me trompe!)

Christopher Poile
la source

Je ne suis pas sûr qu'il soit logique d'avoir DIDà la fois un effet fixe et une interception aléatoire dans le 2ème modèle. De plus, l'avoir comme effet fixe dans le 1er modèle signifie que le choix b / t ces 2 serait de quelle manière penser l'effet DID, et non s'il doit être inclus. Sur une note différente, je remarque que vous avez un article (2); vouliez-vous avoir un élément (1) quelque part?

gung - Rétablir Monica

Vous avez absolument raison; J'allais de la formule glm originale de l'OP qui n'aurait pas dû avoir DID comme effet fixe en premier lieu. Maintenant, le choix est de savoir si le traitement DID comme un effet aléatoire ajoute une valeur au modèle.

Christopher Poile

1

Les modèles sont très différents. Le modèle glm traite de la réduction globale de la déviance (à partir d'un modèle nul) lorsque tous les effets doctorID sont estimés et se voient attribuer des estimations de paramètres. Vous remarquez, bien sûr, que l'âge, marié et IL6 ont tous les mêmes statistiques Wald dans les deux modèles, non? Ma compréhension (pas très raffinée, je l'admets) est que le modèle mixte traite les doctorIDs comme des facteurs de nuisance ou des strates, à savoir des "effets" qui ne peuvent pas être supposés être tirés d'une distribution parentale particulière. Je ne vois aucune raison de penser que l'utilisation d'un modèle mixte améliorerait votre compréhension de «l'effet médecin», bien au contraire.

Si vous étiez intéressé par les effets de l'âge, marié ou IL6, j'aurais imaginé que vous ne compareriez pas l'AIC à travers ces deux modèles, mais plutôt à travers les différences d'AIC avec la suppression des covariables d'intérêt au sein de la même structure de modélisation.

DWin
la source

Effets fixes vs effets aléatoires

Réponses: