Validation croisée pour les modèles mixtes?

9

Mon collègue et moi ajustons une gamme de modèles d'effets mixtes linéaires et non linéaires dans R. On nous demande d'effectuer une validation croisée sur les modèles ajustés afin que l'on puisse vérifier que les effets observés sont relativement généralisables. C'est normalement une tâche triviale, mais dans notre cas, nous devons diviser l'ensemble des données en une partie de formation et une partie de test (à des fins de CV) qui ne partagent aucun niveau commun. Par exemple,

Les données d'entraînement peuvent être basées sur les groupes 1, 2, 3, 4; Le modèle ajusté est ensuite validé de façon croisée sur le groupe 5.

Cela crée donc un problème car les effets aléatoires basés sur les groupes estimés sur les données d'entraînement ne s'appliquent pas aux données de test. Ainsi, nous ne pouvons pas CV le modèle.

Existe-t-il une solution relativement simple à cela? Ou quelqu'un a-t-il déjà écrit un paquet pour résoudre ce problème? Tout indice est le bienvenu!

Merci!

mixed-model cross-validation Ting Qian
la source
2
Dans l'estimation de petites zones, vous rencontrez le même problème avec les petites zones "hors échantillon". Ce qui se fait habituellement, c'est que vous estimez les effets aléatoires hors échantillon par zéro (leur valeur la plus probable - en supposant que vos effets aléatoires sont normalement distribués). En fait, vous utilisez la partie "synthétique" ou fixe du modèle uniquement pour la prédiction.
probabilités
probabilitéislogic / Ting Qian, je suis aux prises avec ce problème maintenant et j'aimerais voir comment vous avez spécifié des effets hors échantillon à 0. Est-il possible de modifier votre réponse ici et d'afficher le code R? Merci!
Pradeep Babu

Réponses:

3

Fang (2011) a démontré une équivalence asymptotique entre l'AIC appliqué aux modèles mixtes et la validation croisée avec omission d'un groupe. Peut-être que cela satisferait votre évaluateur, vous permettant de calculer simplement AIC comme une approximation plus facile à calculer de ce qu'il a demandé?

Mike Lawrence
la source
Merci! Cela semble utile. Nous avons en fait déjà calculé le BIC, mais l'examinateur souhaite voir les résultats de la validation croisée. ;-) Certains des ensembles de données que nous avons sont relativement petits. On peut donc faire valoir qu'un tel comportement asymptotique n'est pas attendu. Mais, oui, nous pourrions certainement citer Fang (2011) lorsque nous présentons les résultats BIC, puisque AIC et BIC sont également asymptotiquement équivalents?
Ting Qian
2
Je ne crois pas que l'AIC et le BIC soient asymptotiquement équivalents car ils tentent de répondre à des questions fondamentalement différentes. Voir: stats.stackexchange.com/questions/577/…
Mike Lawrence
Et voici une comparaison plus détaillée des AIC et BIC: smr.sagepub.com/cgi/doi/10.1177/0049124103262065
Mike Lawrence
0

Colby et Bair (2013) ont développé une approche de validation croisée qui peut être appliquée aux modèles à effets mixtes non linéaires. Vous pouvez visiter ce lien pour en savoir plus.

Api Hounzandji
la source
1
Bienvenue sur Crossvalidated. Veuillez ajouter plus d'informations à votre réponse. Vous pouvez peut-être décrire les parties les plus importantes de l'article.
Ferdi