Est-il possible de calculer les valeurs AIC ou BIC pour les modèles de régression au lasso et d'autres modèles régularisés où les paramètres n'entrent que partiellement dans l'équation. Comment détermine-t-on les degrés de liberté?
J'utilise R pour adapter les modèles de régression au lasso avec la glmnet()
fonction du glmnet
package, et j'aimerais savoir comment calculer les valeurs AIC et BIC pour un modèle. De cette façon, je pourrais comparer les valeurs avec des modèles ajustés sans régularisation. Est-ce possible?
Réponses:
Les articles suivants peuvent également vous intéresser:
la source
Je me débattais beaucoup avec un moyen de calculer AIC et BIC pour les modèles glmnet. Cependant, après beaucoup de recherches, j'ai trouvé la réponse sur la troisième page des résultats de Google. Il peut être trouvé ici . Je le poste ici pour les futurs lecteurs car je pense que je ne peux pas être le seul.
Au final, j'ai implémenté l'AIC et le BIC de la manière suivante:
la source
Dans le lien référencé par johnnyheineken, l'auteur déclare:
Il me semble que si vous comparez l'AIC entre deux modèles, le fait que vous ne puissiez pas séparer la déviance nulle ne devrait pas avoir d'importance. Puisqu'il existe des deux côtés de l'inégalité, il montrerait quel modèle doit avoir l'AIC inférieur. Cela dépend de deux choses:
la source