Quelles sont les mesures de qualité d'ajustement faciles à interpréter pour les modèles linéaires à effets mixtes?

37

J'utilise actuellement le package R lme4 .

J'utilise des modèles à effets mixtes linéaires à effets aléatoires:

library(lme4)
mod1 <- lmer(r1 ~ (1 | site), data = sample_set) #Only random effects
mod2 <- lmer(r1 ~ p1 + (1 | site), data = sample_set) #One fixed effect + 
            # random effects
mod3 <- lmer(r1 ~ p1 + p2 + (1 | site), data = sample_set) #Two fixed effects + 
            # random effects

Pour comparer les modèles, j'utilise la anovafonction et je regarde les différences d'AIC par rapport au modèle AIC le plus bas:

anova(mod1, mod2, mod3)

Ce qui précède convient à la comparaison de modèles.

Cependant, j'ai également besoin d'un moyen simple d'interpréter les mesures de qualité d'ajustement pour chaque modèle. Quelqu'un at-il de l'expérience avec de telles mesures? J'ai effectué des recherches et il existe des articles de revues sur R carré pour les effets fixes de modèles à effets mixtes:

  • Cheng, J., Edwards, LJ, Maldonado-Molina, MM, Komro, KA et Muller, KE (2010). Analyse de données longitudinales réelles pour des personnes réelles: création d'un modèle mixte suffisamment bon. Statistics in Medicine, 29 (4), 504-520. doi: 10.1002 / sim.3775
  • Edwards, LJ, Muller, KE, Wolfinger, RD, Qaqish, BF et Schabenberger, O. (2008). Une statistique R2 pour les effets fixes dans le modèle mixte linéaire. Statistics in Medicine, 27 (29), 6137-6157. doi: 10.1002 / sim.3429

Il semble toutefois que des critiques soient formulées concernant l'utilisation de mesures telles que celles proposées dans les documents susmentionnés.

Quelqu'un pourrait-il suggérer quelques mesures faciles à interpréter et de qualité de l'ajustement qui pourraient s'appliquer à mes modèles?

Mjburns
la source
2
J'aime beaucoup la question, mais la stratégie recommandée n'est pas d' utiliser des tests du rapport de vraisemblance pour déterminer si des effets fixes sont nécessaires ou non , voir la FAQ . Donc, ce qui précède n’est pas acceptable pour comparer des modèles.
Henrik
Merci Henrik. La FAQ que vous avez listée est très utile. Il semble que l'échantillonnage Monte Carlo par chaîne de Markov pourrait être une bonne stratégie pour comparer mes modèles.
Mjburns
1
Le problème avec MCMC est que vous ne pouvez avoir que des effets aléatoires simples (comme dans votre exemple). J'approcherais de Kenen rogers approximation aux degrés de liberté car elle s'applique également à des modèles plus compliqués. Regardez la fonction mixed()dans mon paquet afex ( la version de développement a aussi un bootstrap paramétrique ). Voir ici pour quelques références .
Henrik
OK Henrik. J'ai réussi à faire fonctionner votre fonction mixed () à partir du paquet afex. Pourriez-vous s'il vous plaît indiquer comment utiliser afex pour comparer des modèles? Quelle (s) mesure (s) pourrais-je utiliser pour décider si un modèle est plus plausible qu'un autre? Merci.
Mjburns
On ne répond pas facilement à cette question. Peut-être posez-vous une question distincte donnant plus de détails. Mais brièvement, afex essaie de vous aider à évaluer si certains effets (ou de meilleurs modèles, y compris cet effet) sont significatifs. À cette fin, il utilise un KRmodcomppackage pbkrtest. Vous pouvez également utiliser KRmodcompdirectement pour comparer des modèles.
Henrik

Réponses:

3

Il n'y a rien de tel qu'une mesure de la qualité de l'ajustement facile à interpréter pour les modèles mixtes linéaires :)

L'ajustement à effets aléatoires (mod1) peut être mesuré par ICCet ICC2(le rapport entre la variance prise en compte par les effets aléatoires et la variance résiduelle). psychométrique package R inclut une fonction permettant de les extraire sous forme d’objet lme.

Il est possible d’utiliser l’ R2évaluation d’effet fixe (mod2, mod3), mais cela peut être délicat: lorsque deux modèles affichent un R2 similaire, il se peut que l’un soit plus "précis", mais il est masqué par son facteur fixe " en soustrayant "une composante de variance supérieure à l'effet aléatoire. D'autre part, il est facile d'interpréter un plus grand R2 du modèle le plus élevé (par exemple, mod3). Dans le chapitre de Baayen sur les modèles mixtes, il y a une bonne discussion à ce sujet. En outre, son tutoriel est très clair.

Une solution possible consiste à examiner chacun variance componentséparément, puis à les utiliser pour comparer les modèles.

ajeje
la source
1
Pouvez-vous nous dire de quelle référence vous parlez lorsque vous parlez du chapitre de Baayen?
KH Kim
oui, la référence est cassée!
Curieux
J'ai trouvé cette citation, je ne suis pas sûr si c'est ça, mais je ne peux obtenir le PDF nulle part: BaayenR. H., Analyser les données linguistiques: introduction pratique aux statistiques avec R. Cambridge: Cambridge University Press, 2008. Pp. 368. ISBN-13: 978-0-521-70918-7. - Volume 37 Numéro 2 - Grzegorz Krajewski, Danielle Matthews
Curious
1
Come on guys. Where is your google-foo? Do a search on "baayenCUPstats.pdf: first hit: sfs.uni-tuebingen.de/~hbaayen/publications/baayenCUPstats.pdf
DWin