L'AIC peut-il comparer différents types de modèles?

27

J'utilise AIC (Akaike's Information Criterion) pour comparer des modèles non linéaires dans R. Est-il valide de comparer les AIC de différents types de modèle? Plus précisément, je compare un modèle ajusté par glm avec un modèle avec un terme à effet aléatoire ajusté par glmer (lme4).

Sinon, existe-t-il un moyen de faire une telle comparaison? Ou l'idée est-elle complètement invalide?

Thomas K
la source

Réponses:

12

Ça dépend. L'AIC est fonction de la vraisemblance logarithmique. Si les deux types de modèle calculent la probabilité logarithmique de la même manière (c'est-à-dire incluent la même constante), alors oui, vous pouvez, si les modèles sont imbriqués .

Je suis raisonnablement certain de cela glm()et lmer()n'utilise pas de vraisemblances de journal comparables.

La question des modèles imbriqués est également à discuter. Certains disent que l'AIC n'est valable que pour les modèles imbriqués car c'est ainsi que la théorie est présentée / travaillée. D'autres l'utilisent pour toutes sortes de comparaisons.

Réintégrer Monica - G. Simpson
la source
Ma compréhension est que lme4, par défaut utilise REML où glm utilise ML. Ils peuvent être comparables si vous avez fait utiliser lmer ML en définissant REML = FALSE.
russellpierce
En plus du commentaire de votre Gavin, cela dépend aussi de ce que vous voulez faire avec le modèle. Est-ce le modèle de prédiction ou Thomas recherche la parcimonie? (Je pense)
suncoolsu
3
@drnexus: Je ne pense pas que ce soit suffisant; vous devez être sûr que la même constante de normalisation est appliquée dans le calcul du log vraisemblance.
Rétablir Monica - G. Simpson
2
@Thomas: pour cela, vous devez consulter le code ou parler à la personne qui l'a écrit pour en être sûr. En général, supposons que les probabilités ne sont pas comparables entre différents logiciels / packages / fonctions.
Rétablir Monica - G. Simpson
1
@ user3490 Dépend du logiciel et de l'algorithme utilisés pour obtenir les estimations. En général, je présume qu'ils n'étaient pas les mêmes à moins que je sois certain qu'ils l'étaient.
Rétablir Monica - G. Simpson
4

C'est une grande question qui m'intéresse depuis un moment.

Pour les modèles de la même famille (c'est-à-dire les modèles auto-régressifs d'ordre k ou les polynômes), AIC / BIC a beaucoup de sens. Dans d'autres cas, c'est moins clair. Le calcul de la vraisemblance logarithmique exacte (avec les termes constants) devrait fonctionner, mais il est probablement préférable d'utiliser une comparaison de modèles plus compliquée comme les facteurs de Bayes (http://www.jstor.org/stable/2291091).

Si les modèles ont la même fonction de perte / erreur, une alternative consiste simplement à comparer les log-vraisemblances à validation croisée. C'est généralement ce que j'essaie de faire lorsque je ne suis pas sûr que l'AIC / BIC ait du sens dans une certaine situation.

IanS
la source
0

Notez que dans certains cas, AIC ne peut même pas comparer des modèles du même type, comme les modèles ARIMA avec un ordre de différenciation différent. Citant la prévision: principes et pratique par Rob J Hyndman et George Athanasopoulos:

Il est important de noter que ces critères d'information tendent à ne pas être de bons guides pour sélectionner l'ordre approprié de différenciation ( ) d'un modèle, mais uniquement pour sélectionner les valeurs de et . En effet, la différenciation modifie les données sur lesquelles la probabilité est calculée, ce qui rend les valeurs AIC entre les modèles avec différents ordres de différenciation non comparables. Nous devons donc utiliser une autre approche pour choisir , puis nous pouvons utiliser l'AICc pour sélectionner et .dpqdpq

nalzok
la source
En effet, mais un point crucial est que ce n'est pas le type de modèle qui rend la comparaison problématique, ce sont les données sur lesquelles la probabilité est définie.
Richard Hardy