Est-il inhabituel que MEAN surpasse ARIMA?

38

J'ai récemment appliqué diverses méthodes de prévision (MEAN, RWF, ETS, ARIMA et MLP) et j'ai constaté que MEAN était étonnamment performant. (MEAN: où toutes les prédictions futures sont prédites égales à la moyenne arithmétique des valeurs observées.) MEAN a même surperformé ARIMA sur les trois séries que j'ai utilisées.

Ce que je veux savoir, c'est si c'est inhabituel? Est-ce que cela signifie que les séries temporelles que j'utilise sont étranges? Ou cela indique-t-il que quelque chose ne va pas?

Andy T
la source
@Mehrdad one could definitely craft a nice answer around Martingales.
shadowtalker
1
It's quite common for simple methods to perform well, especially out-of-sample (which is where it matters). This effect becomes stronger on short series. If there's not much serial correlation or trend, then we'd expect the mean to do very well even with relatively long series.
Glen_b -Reinstate Monica

Réponses:

31

Je suis un praticien, à la fois producteur et utilisateur de prévisions et NON un statisticien qualifié. Ci-dessous, je partage certaines de mes réflexions sur les raisons pour lesquelles votre prévision moyenne s’est révélée meilleure que celle d’ARIMA en vous référant à un article de recherche qui repose sur des preuves empiriques. Un livre que je reviens encore et encore est le livre Principles of Forecasting d’Armstrong et son site Web, que je recommanderais comme une excellente lecture pour tout prévisionniste, fournit un excellent aperçu de l’utilisation et des principes directeurs des méthodes d’extrapolation.

Pour répondre à votre première question - Ce que je veux savoir, c'est si c'est inhabituel?

Un chapitre intitulé Extrapolation pour les données chronologiques et transversales est également disponible gratuitement sur le même site Web . Ce qui suit est la citation du chapitre

"Par exemple, dans la compétition M2 en temps réel, qui a examiné 29 séries mensuelles, Box-Jenkins s'est avéré être l'une des méthodes les moins précises et son erreur médiane globale était de 17% supérieure à celle d'une prévision naïve."

Il existe une preuve empirique de la raison pour laquelle vos prévisions moyennes étaient meilleures que celles des modèles ARIMA.

Il y a également eu étude après étude dans les concours empiriques et le troisième concours M3 qui montre que l’approche Box-Jenkins ARIMA ne produit pas de prévisions précises et n’a pas la preuve qu’il fonctionne mieux pour l’extrapolation de tendance univariée.

Il existe également un autre document et une étude en cours de Greene et Armstrong intitulée " Prévision simple: éviter les larmes avant le coucher " dans le même site Web. Les auteurs de l'article résument comme suit:

Au total, nous avons identifié 29 articles incorporant 94 comparaisons formelles de l'exactitude des prévisions de méthodes complexes avec celles de méthodes simples - mais pas toujours sophistiquées. Quatre-vingt-trois pour cent des comparaisons ont montré que les prévisions issues de méthodes simples étaient plus précises que les méthodes complexes, ou d'une précision équivalente. En moyenne, les erreurs de prévision provenant de méthodes complexes dépassaient d'environ 32% celles des prévisions provenant de méthodes simples dans les 21 études comparant les erreurs.

Pour répondre à votre troisième question : cela indique-t-il que je me suis trompé? Non, je considérerais ARIMA comme une méthode complexe et la prévision moyenne comme une méthode simple. Il existe de nombreuses preuves que des méthodes simples telles que la prévision moyenne surpassent des méthodes complexes telles que ARIMA.

Pour répondre à votre deuxième question : cela signifie-t-il que les séries chronologiques que j'utilise sont étranges?

Vous trouverez ci-dessous ce que je considérais être des experts en prévision dans le monde réel:

  • Makridakis (Concours empirique pionnier sur la prévision appelé M, M2 et M3, et voie pavée pour des méthodes de prévision fondées sur des preuves)
  • Armstrong (Fournit des informations précieuses sous la forme de livres / articles sur les pratiques de prévision)
  • Gardner (lissage exponentiel de la tendance amortie inventée, une autre méthode simple qui fonctionne étonnamment bien contre ARIMA)

Tous les chercheurs ci-dessus préconisent la simplicité (méthodes telles que votre prévision moyenne) par rapport aux méthodes complexes telles que ARIMA. Vous devez donc être sûr que vos prévisions sont bonnes et toujours privilégier la simplicité par rapport à la complexité, sur la base de preuves empiriques. Ces chercheurs ont tous énormément contribué au domaine de la prévision appliquée.

En plus de la bonne liste de méthodes de prévision simples de Stephan. il existe également une autre méthode appelée méthode de prévision Thêta qui est une méthode très simple (essentiellement un lissage exponentiel simple avec une dérive égale à la moitié de la pente de la régression linéaire). Je l’ajouterais à votre boîte à outils. Forecast package in Rimplémente cette méthode.

prévisionniste
la source
2
J'aime beaucoup votre point de vue sur les prévisions et les éléments de preuve que vous apportez pour les appuyer, mais certains éléments de cette réponse sont critiquables, car ils ressemblent trop à un discours contre les "statisticiens" ou peut-être contre une formation statistique formelle - et sont totalement erronés. . Par exemple, les diplômes avancés de Makridakis sont en statistiques (devinez quoi?) , C'est ce qu'il enseigne et c'est ce qu'il fait.
whuber
1
Compris, je vais l'enlever. J'essayais de faire comprendre que des avancées majeures en matière de méthodes fondées sur des preuves provenaient de non statisticiens. Mais je vois votre point que cela pourrait
prévisionniste
Fait, également, Makridakis PHD était dans les systèmes d' information de gestion selon cette interview publiée
prévisionniste
FWIW, his LinkedIn page--which he maintains--lists both his PhDs in statistics. But the argument is pointless: claiming that somebody is not a statistician because their degree might not specifically be in statistics has little value and is beside the point here. (Until very recently most people whose career was in statistics had degrees in other fields because there were few statistics programs available.)
whuber
2
+1. However, you write "There lies an empirical evidence on why your mean forecasts was better than ARIMA models." - no, this only tells us that the mean was better (in this specific instance), not why. I'd turn the argument around and put the burden of proof on ARIMA and other models. I have never understood quite why the data-generating process should care about past errors against my model, which is what MA terms essentially model. My personal suspicion is that ARIMA is so popular because you can actually prove stuff, like unit roots and stationarity - not because it forecasts well.
S. Kolassa - Reinstate Monica
36

This is not at all surprising. In forecasting, you very often find that extremely simple methods, like

  • the overall mean
  • the naive random walk (i.e., the last observation used as a forecast)
  • a seasonal random walk (i.e., the observation from one year back)
  • Single Exponential Smoothing

outperform more complex methods. That is why you should always test your methods against these very simple benchmarks.

A quote from George Athanosopoulos and Rob Hyndman (who are experts in the field):

Some forecasting methods are very simple and surprisingly effective.

Note how they explicitly say they will be using some very simple methods as benchmarks.

In fact, their entire free open online textbook on forecasting is very much recommended.

EDIT: One of the better-accepted forecast error measures, the Mean Absolute Scaled Error (MASE) by Hyndman & Koehler (see also here) measures how much a given forecast improves on the (in-sample) naive random walk forecast: if MASE < 1, your forecast is better than the in-sample random walk. You'd expect this to be an easily beaten bound, right?

Not so: sometimes, even the best out of multiple standard forecasting methods like ARIMA or ETS will only yield a MASE of 1.38, i.e., be worse (out-of-sample) than the (in-sample) random walk forecast. This is sufficiently disconcerting to generate questions here. (That question is not a duplicate of this one, since the MASE compares out-of-sample accuracy to in-sample accuracy of a naive method, but it is also enlightening for the present question.)

S. Kolassa - Reinstate Monica
la source
1
Thanks for accepting, but maybe you want to wait for a day - if a question has accepted answers, fewer people will even read it, let alone comment or answer. And other people may have different takes on this. Feel free to un-accept ;-)
S. Kolassa - Reinstate Monica
Its very honest of you :) I'll give it a day. Thanks.
Andy T
9
"complex" is a close relative of "overfitted."
shadowtalker
1
+1 nice answer. If forecasting was an evidence based field like medicine, ARIMA method would be history.
forecaster
2
simple minded ARIMA without validating the Gaussian Assumptions is already history for most of us BUT apparently not for all !
IrishStat