Quand est-il approprié de sélectionner des modèles en minimisant l'AIC?

Il est bien établi, au moins chez les statisticiens d'un calibre supérieur, que les modèles dont les valeurs de la statistique AIC se situent dans un certain seuil de la valeur minimale doivent être considérés comme appropriés comme modèle minimisant la statistique AIC. Par exemple, dans [1, p.221], nous trouvons

Les modèles avec un petit GCV ou AIC seraient alors considérés comme les meilleurs. Bien sûr, il ne faut pas simplement minimiser aveuglément le GCV ou l'AIC. Au contraire, tous les modèles avec des valeurs GCV ou AIC raisonnablement faibles devraient être considérés comme potentiellement appropriés et évalués en fonction de leur simplicité et de leur pertinence scientifique.

De même, dans [2, p.144] nous avons

Il a été suggéré (Duong, 1984) que les modèles avec des valeurs AIC inférieures à c de la valeur minimale devraient être considérés comme compétitifs (avec c = 2 comme valeur typique). La sélection parmi les modèles compétitifs peut alors être basée sur des facteurs tels que la blancheur des résidus (section 5.3) et la simplicité du modèle.

Les références:

1. Ruppert, D .; Wand, MP & Carrol, RJ Semiparametric Regression , Cambridge University Press, 2003
2. Brockwell, PJ & Davis, RA Introduction aux séries chronologiques et aux prévisions , John Wiley & Sons, 1996

Donc, compte tenu de ce qui précède, lequel des deux modèles ci-dessous devrait être préféré?

print( lh300 <- arima(lh, order=c(3,0,0)) )
# ... sigma^2 estimated as 0.1787:  log likelihood = -27.09,  aic = 64.18
print( lh100 <- arima(lh, order=c(1,0,0)) )
# ... sigma^2 estimated as 0.1975:  log likelihood = -29.38,  aic = 64.76

Plus généralement, quand est-il approprié de sélectionner des modèles en minimisant aveuglément l'AIC ou les statistiques associées?

Paraphrasant les notes de conférence de Cosma Shalizi sur la vérité sur la régression linéaire , tu ne choisiras jamais un modèle simplement parce qu'il est arrivé à minimiser une statistique comme l'AIC , par exemple

Every time someone solely uses an AIC statistic for model selection, an angel loses its
wings. Every time someone thoughtlessly minimises it, an angel not only loses its wings,
but is cast out of Heaven and falls in most extreme agony into the everlasting fire.

Je dirais qu'il est souvent approprié d'utiliser l'AIC dans la sélection des modèles, mais rarement juste de l'utiliser comme seule base pour la sélection des modèles. Nous devons également utiliser des connaissances substantielles.

Dans votre cas particulier, vous comparez un modèle avec un AR de 3ème ordre à un avec un AR de 1er ordre. En plus de l'AIC (ou quelque chose de similaire), je regarderais les tracés d'autocorrélation et d'autocorrélation partielle. Je voudrais également considérer ce 3e modèle d'ordre serait dire . Est-ce que ça fait du sens? Cela ajoute-t-il à des connaissances substantielles? (Ou, si vous êtes uniquement intéressé par la prédiction, cela aide-t-il à prédire?)

Plus généralement, il arrive parfois que trouver une très petite taille d'effet soit intéressant.

Vous pouvez considérer l'AIC comme un seuil de coupure de valeur plus raisonnable (c'est-à-dire plus grand) . Mais la sélection de modèle basée sur les valeurs ou toute autre métrique à une variable à la fois se heurte à des difficultés, ayant tous les problèmes de sélection de variable par étapes. De manière générale, l'AIC fonctionne mieux s'il est utilisé pour sélectionner un seul paramètre unique (par exemple, le coefficient de retrait) ou pour comparer 2 ou 3 modèles candidats. Sinon, l'ajustement de l'ensemble des variables d'une manière ou d'une autre, en utilisant le rétrécissement ou la réduction des données, entraînera souvent une discrimination prédictive supérieure. La parcimonie est en contradiction avec la discrimination prédictive.$P$$P$