Meilleure méthode pour des séries chronologiques courtes

35

J'ai une question liée à la modélisation de courtes séries chronologiques. Ce n'est pas une question de savoir si les modéliser , mais comment. Quelle méthode recommanderiez-vous pour la modélisation de séries chronologiques (très) courtes (disons de longueur )? Par "meilleur", j'entends ici le plus robuste, le moins sujet aux erreurs en raison du nombre limité d'observations. Avec des séries courtes, des observations uniques pourraient influencer la prévision, de sorte que la méthode devrait fournir une estimation prudente des erreurs et de la variabilité possible liées à la prévision. Je suis généralement intéressé par les séries chronologiques univariées, mais il serait également intéressant de connaître d’autres méthodes.T20

Tim
la source
Quelle est l'unité de temps? Pouvez-vous poster les données?
Dimitriy V. Masterov
8
Quelles que soient vos hypothèses - concernant la saisonnalité, la stationnarité, etc. - une courte série chronologique vous permettra de détecter uniquement les violations les plus flagrantes; les hypothèses doivent donc être fondées sur la connaissance du domaine. Avez-vous besoin de modéliser ou simplement de faire des prévisions? Le concours M3 a comparé diverses méthodes de prévision "automatiques" sur des séries de domaines variés, dont certains ne
dépassent pas
5
+1 au commentaire de @ Scortchi. Incidemment, sur les 3 003 séries M3 (disponibles dans le Mcomppackage pour R), 504 ont 20 observations ou moins, soit 55% de la série annuelle. Vous pouvez donc rechercher la publication originale et voir ce qui a bien fonctionné pour les données annuelles. Ou encore, explorez les prévisions originales soumises au concours M3, disponibles dans le Mcomppackage (liste M3Forecast).
S. Kolassa - Réintégrer Monica le
Salut, je ne rien ajouter à la réponse, mais juste quelque chose part à la question que j'espère que cela peut aider les autres à comprendre ici le problème: quand vous dites un solide, qui est la moins sujette à des erreurs en raison du fait limité nombre d'observations . Je pense que la robustesse est un concept important dans les statistiques et qu’il est ici crucial: car si peu de données sont disponibles, tout ajustement de la modélisation dépendra fortement des hypothèses du modèle lui-même ou des valeurs extrêmes. Avec la robustesse, ces contraintes sont moins fortes, ce qui empêche toute hypothèse de limiter vos résultats. J'espère que ça aide.
Tommaso Guerrini
2
Les méthodes robustes de @TommasoGuerrini ne font pas moins d'hypothèses, elles font des hypothèses différentes.
Tim

Réponses:

31

Il est très courant que des méthodes de prévision extrêmement simples telles que "prévoir la moyenne historique" surpassent les méthodes plus complexes. Ceci est encore plus probable pour les séries chronologiques courtes. Oui, en principe, vous pouvez adapter un modèle ARIMA ou même un modèle plus complexe à 20 observations ou moins, mais vous aurez plutôt tendance à sur-adapter et à obtenir de très mauvaises prévisions.

Donc: commencez avec un repère simple, par exemple,

  • la moyenne historique
  • la médiane historique pour plus de robustesse
  • la marche aléatoire (prévision de la dernière observation)

Évaluez ces données hors échantillon. Comparez tout modèle plus complexe à ces points de repère. Vous serez peut-être surpris de voir à quel point il est difficile de surpasser ces méthodes simples. En outre, comparez la robustesse de différentes méthodes avec des méthodes simples, par exemple, en évaluant non seulement la précision moyenne hors échantillon, mais également la variance d'erreur , en utilisant votre mesure d'erreur préférée .

Oui, comme l' écrit Rob Hyndman dans son message auquel Aleksandr fait référence , les tests sur échantillons non-échantillonnés sont un problème en soi pour les séries courtes - mais il n'y a vraiment pas de bonne alternative. ( N'utilisez pas l' ajustement dans l'échantillon, qui n'est pas un guide pour la précision des prévisions .) L'AIC ne vous aidera pas avec la médiane et la marche aléatoire. Cependant, vous pouvez utiliser la validation croisée de séries chronologiques , approximative de AIC, de toute façon.

S. Kolassa - Rétablir Monica
la source
Vient de découvrir votre réponse (+1). J'ai fait un autre commentaire, au cas où cela vous intéresserait et que vous souhaitiez clarifier.
Aleksandr Blekh
17

Je profite à nouveau d’une question pour en apprendre davantage sur les séries chronologiques - l’un des (nombreux) sujets de mon intérêt. Après une brève recherche, il me semble qu’il existe plusieurs approches au problème de la modélisation des séries chronologiques courtes.

La première approche consiste à utiliser des modèles de séries chronologiques standard / linéaires (AR, MA, ARMA, etc.), mais à prêter attention à certains paramètres, comme décrit dans ce post [1] de Rob Hyndman, qui n'a pas besoin d'introduction à séries chronologiques et monde des prévisions. La deuxième approche, citée dans la plupart des ouvrages spécialisés que j'ai vus, suggère d'utiliser des modèles de séries chronologiques non linéaires , en particulier les modèles à seuil [2], qui incluent un modèle à seuil autorégressif (TAR) , un modèle TAR à sortie automatique ( SETAR) , modèle de moyenne mobile autorégressive de seuil (TARMA) et modèle TARMAX , qui étend TARmodèle à des séries chronologiques exogènes. Vous trouverez dans cet article [3] et cet article [4] d’ excellents aperçus des modèles de séries chronologiques non linéaires, y compris des modèles à seuil .

Enfin, un autre document de recherche lié à IMHO [5] décrit une approche intéressante, basée sur la représentation de Volterra-Weiner de systèmes non linéaires - voir ceci [6] et ceci [7]. Cette approche serait supérieure aux autres techniques dans le contexte de séries chronologiques courtes et bruitées .

Les références

  1. Hyndman, R. (4 mars 2014). Ajustement des modèles à des séries chronologiques courtes. [Blog post]. Récupérée de http://robjhyndman.com/hyndsight/short-time-series
  2. Université d'État de Pennsylvanie. (2015). Modèles de seuil. [Matériel de cours en ligne]. STAT 510, Analyse de série chronologique appliquée. Extrait de https://onlinecourses.science.psu.edu/stat510/node/82
  3. Zivot, E. (2006). Modèles de séries chronologiques non linéaires. [Notes de cours]. ECON 584, Econométrie des séries chronologiques. Université de Washington. Récupéré de http://faculty.washington.edu/ezivot/econ584/notes/nonlinear.pdf
  4. Chen, CWS, So, MKP, & Liu, F.-C. (2011). Examen des modèles de séries chronologiques à seuil en finance. Statistiques et son interface, 4 , 167-181. Récupérée de http://intlpress.com/site/pub/files/_fulltext/journals/sii/2011/0004/0002/SII-2011-0004-0002-a012.pdf
  5. Barahona, M., & Poon, C.-S. (1996). Détection de la dynamique non linéaire de courtes séries temporelles bruitées. Nature, 381 , 215-217. Extrait de http://www.bg.ic.ac.uk/research/m.barahona/nonlin_detec_nature.PDF
  6. Franz, MO (2011). Série Volterra et Wiener. Scholarpedia, 6 (10): 11307. Extrait de http://www.scholarpedia.org/article/Volterra_and_Wiener_series
  7. Franz, MO et Scholkopf, B. (nd). Une vision unificatrice de la théorie de Wiener et de Volterra et de la régression polynomiale du noyau. Extrait de http://www.is.tuebingen.mpg.de/fileadmin/user_upload/files/publications/nc05_%5B0%5D.pdf
Aleksandr Blekh
la source
4
+1 Souhaitez-vous écrire les références de ces documents dans votre réponse? Nous avons découvert récemment que de nombreux liens vers des documents pourrissent après un certain temps, les rendant finalement presque inutiles à moins que les auteurs, les titres, etc. du papier ne soient également mentionnés dans le texte.
whuber
2
@ Whuber: Merci. Pas de problème, je mettrai à jour ma réponse avec des références ce soir.
Aleksandr Blekh
2
+1 pour le lien vers le post de Rob Hyndman. (Cependant, je suis tenté de -1 pour les modèles complexes. Je serais extrêmement méfiant d'utiliser le seuil ou toute autre méthode de séries chronologiques non linéaires sur les séries chronologiques de moins de 20 observations. Vous êtes presque certain de surajustement, qui va directement contre à l'exigence d'une méthode robuste du PO .)
S. Kolassa - Rétablir Monica le
3
[2, 3, 4] ne mentionnent pas de séries chronologiques courtes et observent les graphiques de [2]:> 120 observations. [4] se concentre sur la finance, où vous avez énormément plus de 20 observations. [5] écrit à propos de "séries chronologiques courtes, généralement de 1 000 points" (p. 216). Je ne vois aucun moyen d'adapter de manière fiable et robuste un modèle TAR ou un modèle similaire, ni aucun des modèles plus complexes auxquels vous vous associez, avec <20 observations. (BTW: Je fais aussi quelques statistiques inférentielles sur le côté, et avec moins de 20 observations, vous ne pouvez vraiment pas estimer plus que la moyenne et un paramètre de plus.)
S. Kolassa - Rétablissez Monica le
5
Je vous en prie ;-) J'imagine que la conclusion est que "court" est très dépendant du contexte: pour les séries de lecture de capteurs ou en finance, 1 000 points de données est "court" - mais dans la gestion de la chaîne d'approvisionnement, 20 observations mensuelles sont presque normales , et "court" ne commencera qu’à 12 observations ou moins.
S. Kolassa - Réintégrer Monica le
11

T20

Les méthodes qualitatives suivantes fonctionnent bien dans la pratique pour des données très courtes ou inexistantes:

  • Prévisions composites
  • Enquêtes
  • Méthode Delphi
  • Construction de scénario
  • Prévision par analogie
  • Avis exécutif

L'une des meilleures méthodes que je connaisse qui fonctionne très bien est l'utilisation d' analogies structurées (5ème de la liste ci-dessus) lorsque vous recherchez des produits similaires / analogues dans la catégorie que vous essayez de prévoir et utilisez-les pour prévoir des prévisions à court terme. . Voir cet article pour des exemples, et un article de SAS sur "comment faire" en utilisant bien sûr SAS. Une des limites est que les prévisions par analogies ne fonctionneront que si vous avez de bonnes analogies, sinon vous pouvez vous fier à des prévisions discrétionnaires. Voici une autre vidéo du logiciel Forecastpro expliquant comment utiliser un outil tel que Forecastpro pour effectuer des prévisions par analogie. Choisir une analogie est plus un art que la science et vous avez besoin d'une expertise de domaine pour sélectionner des produits / situations analogues.

Deux excellentes ressources pour les prévisions de produits courtes ou nouvelles:

  • Principe de la prévision par Armstrong
  • Prévisions de nouveaux produits par Kahn

Ce qui suit est à titre indicatif.Je viens juste de lire Signal and Noisepar Nate Silver, dans la mesure où il existe un bon exemple de la bulle et de la prévision du marché immobilier américain et japonais (analogue au marché américain). Dans le tableau ci-dessous, si vous vous arrêtez à 10 points de données et utilisez l'une des méthodes d'extrapolation (smooting / ets / arima ...) pour voir où cela vous mène et où se termine la réalité. Encore une fois, l'exemple que j'ai présenté est beaucoup plus complexe que la simple extrapolation des tendances. Ceci est juste pour souligner les risques d'extrapolation de tendance en utilisant des points de données limités. En outre, si votre produit présente une configuration saisonnière, vous devez utiliser une certaine forme de situation de produit analogue pour prévoir. J'ai lu un article dans le Journal of Business Research selon lequel, si vous réalisiez 13 semaines de ventes de produits pharmaceutiques, vous pourriez prédire les données avec une plus grande précision à l'aide de produits analogues.

entrez la description de l'image ici

prévisionniste
la source
Merci de signaler une approche différente! Et je suis d'accord, le livre de Nate Silvers est génial.
Tim
5

L'hypothèse selon laquelle le nombre d'observations est critique est venue d'un commentaire spontané de la GEP Box concernant la taille minimale de l'échantillon pour identifier un modèle. Une réponse plus nuancée en ce qui me concerne est que le problème / qualité de l’identification du modèle ne repose pas uniquement sur la taille de l’échantillon mais sur le rapport signal sur bruit qui se trouve dans les données. Si vous avez un fort rapport signal sur bruit, vous avez besoin de moins d'observations. Si vous avez un faible s / n, vous avez besoin de plus d'échantillons à identifier. Si votre jeu de données est mensuel et que vous avez 20 valeurs, il n'est pas possible d'identifier empiriquement un modèle saisonnier, mais si vous pensez que les données peuvent être saisonnières, vous pouvez démarrer le processus de modélisation en spécifiant un ar (12), puis effectuer un diagnostic du modèle ( tests de signification) pour réduire ou augmenter votre modèle structurellement déficient

IrishStat
la source
5

Avec des données très limitées, je serais plus enclin à ajuster les données en utilisant des techniques bayésiennes.

La stationnarité peut être un peu délicate s’agissant des modèles bayésiens de séries chronologiques. Un choix consiste à appliquer des contraintes sur les paramètres. Ou, vous ne pourriez pas. C'est très bien si vous voulez juste regarder la distribution des paramètres. Cependant, si vous voulez générer la prédiction postérieure, vous pouvez avoir beaucoup de prévisions qui explosent.

La documentation de Stan fournit quelques exemples où ils imposent des contraintes sur les paramètres des modèles de série temporelle pour assurer la stationnarité. Cela est possible pour les modèles relativement simples qu'ils utilisent, mais cela peut être pratiquement impossible dans les modèles de séries chronologiques plus complexes. Si vous souhaitez réellement appliquer la stationnarité, vous pouvez utiliser un algorithme Metropolis-Hastings et éliminer les coefficients inappropriés. Cependant, cela nécessite de nombreuses valeurs propres à calculer, ce qui ralentira les choses.

John
la source
0

Le problème que vous avez sagement souligné est le "sur-ajustement" causé par des procédures basées sur des listes fixes. Une façon intelligente est d’essayer de garder l’équation simple lorsque vous avez une quantité négligeable de données. Après de nombreuses lunes, j'ai trouvé que, si vous utilisiez simplement un modèle AR (1) et laissiez le taux d'adaptation (le coefficient ar) aux données, les choses pourraient fonctionner assez bien. Par exemple, si le coefficient ar estimé est proche de zéro, cela signifie que la moyenne globale serait appropriée. si le coefficient est proche de +1,0, cela signifie que la dernière valeur (ajustée pour une constante convient mieux. Si le coefficient est proche de -1,0, le négatif de la dernière valeur (ajusté pour une constante) correspond à la meilleure prévision. Si le coefficient est différent, cela signifie qu'une moyenne pondérée du passé récent est appropriée.

C'est précisément ce que commence AUTOBOX, puis élimine les anomalies au fur et à mesure qu'il affine le paramètre estimé lorsqu'un "petit nombre d'observations" est rencontré.

Ceci est un exemple de "l'art de la prévision" lorsqu'une approche purement basée sur des données pourrait ne pas être applicable.

Voici un modèle automatique développé pour les 12 points de données sans souci d'anomalies. entrez la description de l'image iciavec réel / ajustement et prévision ici entrez la description de l'image iciet parcelle résiduelle icientrez la description de l'image ici

IrishStat
la source