AIC versus validation croisée dans les séries chronologiques: le petit cas d'échantillon

23

Je suis intéressé par la sélection de modèles dans un cadre de séries chronologiques. Pour être concret, supposons que je veuille sélectionner un modèle ARMA à partir d'un pool de modèles ARMA avec différents ordres de décalage. L' intention ultime est la prévision .

La sélection du modèle peut être effectuée par

  1. validation croisée,
  2. utilisation de critères d'information (AIC, BIC),

entre autres méthodes.

Rob J. Hyndman fournit un moyen d'effectuer une validation croisée pour les séries chronologiques . Pour des échantillons relativement petits, la taille de l'échantillon utilisée dans la validation croisée peut être qualitativement différente de la taille de l'échantillon d'origine. Par exemple, si la taille de l'échantillon d'origine est de 200 observations, alors on pourrait penser à commencer la validation croisée en prenant les 101 premières observations et en élargissant la fenêtre à 102, 103, ..., 200 observations pour obtenir 100 résultats de validation croisée. De toute évidence, un modèle raisonnablement parcimonieux pour 200 observations peut être trop grand pour 100 observations et donc son erreur de validation sera importante. Ainsi, la validation croisée est susceptible de favoriser systématiquement les modèles trop parcimonieux. Il s'agit d'un effet indésirable en raison de l'inadéquation des tailles d'échantillon .

Une alternative à la validation croisée utilise des critères d'information pour la sélection du modèle. Puisque je me soucie des prévisions, j'utiliserais AIC. Même si AIC est asymptotiquement équivalent à minimiser le MSE prévisionnel en une seule étape hors échantillon pour les modèles de séries chronologiques (selon ce post de Rob J. Hyndman), je doute que cela soit pertinent ici puisque l'échantillon les tailles qui me tiennent à cœur ne sont pas si grandes ...

Question: devrais-je choisir l'AIC sur la validation croisée des séries chronologiques pour les échantillons petits / moyens?

Quelques questions connexes peuvent être trouvées ici , ici et ici .

Richard Hardy
la source
1
J'imagine également que le BIC équivaut également à une prévision "plus longue" (pas en avant), compte tenu de son lien avec l'exclusion de la validation croisée k. Pour 200 observations cependant, cela ne fait probablement pas beaucoup de différence (pénalité de 5p au lieu de 2p).
probabilitéislogic
1
@CagdasOzgenc, j'ai demandé à Rob J. Hyndman si la validation croisée est susceptible de favoriser systématiquement les modèles trop parcimonieux dans le contexte donné dans le PO et j'ai obtenu une confirmation, ce qui est assez encourageant. Je veux dire, l'idée que j'essayais d'expliquer dans le chat semble être valide.
Richard Hardy
Il existe des raisons théoriques de favoriser l'AIC ou le BIC car si l'on commence par la théorie des probabilités et de l'information, alors la métrique qui est basée sur celles-ci a des propriétés statistiques bien connues. Mais souvent, il s'agit d'un ensemble de données qui n'est pas si grand.
Analyste
3
J'ai passé pas mal de temps à essayer de comprendre l'AIC. L'égalité de la déclaration est basée sur de nombreuses approximations qui équivalent à des versions du CLT. Je pense personnellement que cela rend l'AIC très discutable pour les petits échantillons.
meh
1
@IsabellaGhement, pourquoi devrait-il en être ainsi? Il n'y a aucune raison de nous limiter à cette utilisation particulière de la validation croisée. Cela ne veut pas dire que la validation croisée ne peut pas être utilisée pour l'évaluation du modèle, bien sûr.
Richard Hardy

Réponses:

2

Mis à part les considérations théoriques, Akaike Information Criterion est simplement pénalisé par les degrés de liberté. Ce qui suit, l'AIC tient compte de l'incertitude dans les données ( -2LL ) et fait l'hypothèse que plus de paramètres conduisent à un risque plus élevé de sur-ajustement ( 2k ). La validation croisée examine simplement les performances de l'ensemble de test du modèle, sans aucune autre hypothèse.

Si vous vous souciez principalement de faire des prédictions et que vous pouvez supposer que les ensembles de tests seraient raisonnablement similaires aux données du monde réel, vous devriez opter pour une validation croisée. Le problème possible est que lorsque vos données sont petites, puis en les divisant, vous vous retrouvez avec de petits ensembles de formation et de test. Moins de données pour la formation est mauvais, et moins de données pour l'ensemble de test rend les résultats de la validation croisée plus incertains (voir Varoquaux, 2018 ). Si votre échantillon de test est insuffisant, vous pouvez être contraint d'utiliser l'AIC, mais en gardant à l'esprit ce qu'il mesure et quelles hypothèses il peut faire.

D'autre part, comme déjà mentionné dans les commentaires, AIC vous donne des garanties asymptomatiques, et ce n'est pas le cas avec de petits échantillons. De petits échantillons peuvent également induire en erreur sur l'incertitude des données.

Tim
la source
Merci pour votre réponse! Auriez-vous des commentaires spécifiques concernant l'effet indésirable de la taille beaucoup plus petite de l'échantillon dans la validation croisée en raison de la nature des séries chronologiques des données?
Richard Hardy
1

Hm - si votre objectif ultime est de prédire, pourquoi avez-vous l'intention de faire une sélection de modèle? Pour autant que je sache, il est bien établi à la fois dans la littérature statistique "traditionnelle" et dans la littérature sur l'apprentissage automatique que la moyenne des modèles est supérieure en matière de prédiction. En termes simples, la moyenne du modèle signifie que vous estimez tous les modèles plausibles, laissez-les tous prédire et faire la moyenne de leurs prédictions pondérées par leurs preuves de modèle relatives.

Une référence utile pour commencer est https://journals.sagepub.com/doi/10.1177/0049124104268644

Ils l'expliquent tout simplement et se réfèrent à la littérature pertinente.

J'espère que cela t'aides.

StoryTeller0815
la source
-1

Mon idée est de faire les deux et de voir. Il est direct d'utiliser AIC. Plus l'AIC est petit, meilleur est le modèle. Mais on ne peut pas dépendre de l'AIC et dire qu'un tel modèle est le meilleur. Donc, si vous avez un pool de modèles ARIMA, prenez-les chacun et vérifiez les prévisions pour les valeurs existantes et voyez quel modèle prédit le plus proche des données de séries chronologiques existantes. Deuxièmement, vérifiez également l'AIC et, compte tenu des deux, faites un bon choix. Il n'y a pas de règles strictes et rapides. Optez simplement pour le modèle qui prédit le meilleur.

Dovini Jayasinghe
la source
Merci pour votre réponse! Je suis à la recherche d'une façon de choisir entre les différentes méthodes de sélection de modèle. Bien que vous ayez raison de dire qu'il n'y a pas de règles strictes et rapides , nous avons besoin de directives claires dans des conditions idéales hypothétiques pour nous aider dans les situations désordonnées du monde réel. Donc, bien que je sois généralement d'accord avec votre point de vue, je ne trouve pas votre réponse particulièrement utile.
Richard Hardy