Comment les modèles d'effets mixtes (linéaires) sont-ils normalement comparés les uns aux autres? Je sais que des tests de rapport de vraisemblance peuvent être utilisés, mais cela ne fonctionne pas si un modèle n'est pas un «sous-ensemble» de l'autre correct?
L'estimation des modèles df est-elle toujours simple? Nombre d'effets fixes + nombre de composantes de variance estimées? Ignorons-nous les estimations des effets aléatoires?
Et la validation? Ma première pensée est la validation croisée, mais les plis aléatoires peuvent ne pas fonctionner compte tenu de la structure des données. Une méthodologie consistant à «laisser un sujet / groupe en dehors» est-elle appropriée? Qu'en est-il de laisser une observation de côté?
Mallows Cp peut être interprété comme une estimation de l'erreur de prédiction des modèles. La sélection du modèle via AIC tente de minimiser l'erreur de prédiction (donc Cp et AIC devraient choisir le même modèle si les erreurs sont gaussiennes je crois). Cela signifie-t-il que l'AIC ou le Cp peuvent être utilisés pour choisir un modèle d'effets mixtes linéaires «optimal» à partir d'une collection de certains modèles non imbriqués en termes d'erreur de prédiction? (à condition qu'ils correspondent aux mêmes données) Le BIC est-il encore plus enclin à choisir le «vrai» modèle parmi les candidats?
J'ai également l'impression que lorsque nous comparons des modèles à effets mixtes via AIC ou BIC, nous ne comptons que les effets fixes comme des «paramètres» dans le calcul, pas les modèles réels df.
Existe-t-il une bonne littérature sur ces sujets? Vaut-il la peine d'étudier la cAIC ou la mAIC? Ont-ils une application spécifique en dehors de l'AIC?
Réponses:
Le principal problème de la sélection des modèles dans les modèles mixtes est de définir véritablement les degrés de liberté (df) d'un modèle. Pour calculer df d'un modèle mixte, il faut définir le nombre de paramètres estimés incluant les effets fixes et aléatoires. Et ce n'est pas simple. Cet article de Jiming Jiang et al. (2008) intitulé "Méthodes de clôture pour la sélection de modèles mixtes" pourrait être appliqué dans de telles situations. Un nouveau travail connexe est celui de Greven, S. & Kneib, T. (2010) intitulé "Sur le comportement des AIC marginaux et conditionnels dans les modèles mixtes linéaires". J'espère que cela pourrait être utile.
la source
Une façon de comparer les modèles (mixtes ou non) consiste à tracer les résultats. Supposons que vous ayez le modèle A et le modèle B; produire les valeurs ajustées de chacun et les représenter graphiquement les uns par rapport aux autres dans un diagramme de dispersion. Si les valeurs sont très similaires (en utilisant votre jugement pour savoir si elles le sont), choisissez le modèle le plus simple. Une autre idée est de trouver les différences entre les valeurs ajustées et de les représenter graphiquement par rapport aux valeurs indépendantes; vous pouvez également faire un graphique de densité des différences. En général, je suis partisan de ne pas utiliser de tests statistiques pour comparer les modèles (bien que l'AIC et ses variantes aient certainement des vertus) mais plutôt d'utiliser le jugement. Bien sûr, cela a le (dés) avantage de ne pas donner de réponses précises.
la source