Est-il inhabituel que MEAN surpasse ARIMA?

J'ai récemment appliqué diverses méthodes de prévision (MEAN, RWF, ETS, ARIMA et MLP) et j'ai constaté que MEAN était étonnamment performant. (MEAN: où toutes les prédictions futures sont prédites égales à la moyenne arithmétique des valeurs observées.) MEAN a même surperformé ARIMA sur les trois séries que j'ai utilisées.

Ce que je veux savoir, c'est si c'est inhabituel? Est-ce que cela signifie que les séries temporelles que j'utilise sont étranges? Ou cela indique-t-il que quelque chose ne va pas?

Je suis un praticien, à la fois producteur et utilisateur de prévisions et NON un statisticien qualifié. Ci-dessous, je partage certaines de mes réflexions sur les raisons pour lesquelles votre prévision moyenne s’est révélée meilleure que celle d’ARIMA en vous référant à un article de recherche qui repose sur des preuves empiriques. Un livre que je reviens encore et encore est le livre Principles of Forecasting d’Armstrong et son site Web, que je recommanderais comme une excellente lecture pour tout prévisionniste, fournit un excellent aperçu de l’utilisation et des principes directeurs des méthodes d’extrapolation.

Pour répondre à votre première question - Ce que je veux savoir, c'est si c'est inhabituel?

Un chapitre intitulé Extrapolation pour les données chronologiques et transversales est également disponible gratuitement sur le même site Web . Ce qui suit est la citation du chapitre

"Par exemple, dans la compétition M2 en temps réel, qui a examiné 29 séries mensuelles, Box-Jenkins s'est avéré être l'une des méthodes les moins précises et son erreur médiane globale était de 17% supérieure à celle d'une prévision naïve."

Il existe une preuve empirique de la raison pour laquelle vos prévisions moyennes étaient meilleures que celles des modèles ARIMA.

Il y a également eu étude après étude dans les concours empiriques et le troisième concours M3 qui montre que l’approche Box-Jenkins ARIMA ne produit pas de prévisions précises et n’a pas la preuve qu’il fonctionne mieux pour l’extrapolation de tendance univariée.

Il existe également un autre document et une étude en cours de Greene et Armstrong intitulée " Prévision simple: éviter les larmes avant le coucher " dans le même site Web. Les auteurs de l'article résument comme suit:

Au total, nous avons identifié 29 articles incorporant 94 comparaisons formelles de l'exactitude des prévisions de méthodes complexes avec celles de méthodes simples - mais pas toujours sophistiquées. Quatre-vingt-trois pour cent des comparaisons ont montré que les prévisions issues de méthodes simples étaient plus précises que les méthodes complexes, ou d'une précision équivalente. En moyenne, les erreurs de prévision provenant de méthodes complexes dépassaient d'environ 32% celles des prévisions provenant de méthodes simples dans les 21 études comparant les erreurs.

Pour répondre à votre troisième question : cela indique-t-il que je me suis trompé? Non, je considérerais ARIMA comme une méthode complexe et la prévision moyenne comme une méthode simple. Il existe de nombreuses preuves que des méthodes simples telles que la prévision moyenne surpassent des méthodes complexes telles que ARIMA.

Pour répondre à votre deuxième question : cela signifie-t-il que les séries chronologiques que j'utilise sont étranges?

Vous trouverez ci-dessous ce que je considérais être des experts en prévision dans le monde réel:

• Makridakis (Concours empirique pionnier sur la prévision appelé M, M2 et M3, et voie pavée pour des méthodes de prévision fondées sur des preuves)
• Armstrong (Fournit des informations précieuses sous la forme de livres / articles sur les pratiques de prévision)
• Gardner (lissage exponentiel de la tendance amortie inventée, une autre méthode simple qui fonctionne étonnamment bien contre ARIMA)

Tous les chercheurs ci-dessus préconisent la simplicité (méthodes telles que votre prévision moyenne) par rapport aux méthodes complexes telles que ARIMA. Vous devez donc être sûr que vos prévisions sont bonnes et toujours privilégier la simplicité par rapport à la complexité, sur la base de preuves empiriques. Ces chercheurs ont tous énormément contribué au domaine de la prévision appliquée.

En plus de la bonne liste de méthodes de prévision simples de Stephan. il existe également une autre méthode appelée méthode de prévision Thêta qui est une méthode très simple (essentiellement un lissage exponentiel simple avec une dérive égale à la moitié de la pente de la régression linéaire). Je l’ajouterais à votre boîte à outils. Forecast package in Rimplémente cette méthode.

This is not at all surprising. In forecasting, you very often find that extremely simple methods, like

• the overall mean
• the naive random walk (i.e., the last observation used as a forecast)
• a seasonal random walk (i.e., the observation from one year back)
• Single Exponential Smoothing

outperform more complex methods. That is why you should always test your methods against these very simple benchmarks.

A quote from George Athanosopoulos and Rob Hyndman (who are experts in the field):

Some forecasting methods are very simple and surprisingly effective.

Note how they explicitly say they will be using some very simple methods as benchmarks.

In fact, their entire free open online textbook on forecasting is very much recommended.

EDIT: One of the better-accepted forecast error measures, the Mean Absolute Scaled Error (MASE) by Hyndman & Koehler (see also here) measures how much a given forecast improves on the (in-sample) naive random walk forecast: if MASE < 1, your forecast is better than the in-sample random walk. You'd expect this to be an easily beaten bound, right?

Not so: sometimes, even the best out of multiple standard forecasting methods like ARIMA or ETS will only yield a MASE of 1.38, i.e., be worse (out-of-sample) than the (in-sample) random walk forecast. This is sufficiently disconcerting to generate questions here. (That question is not a duplicate of this one, since the MASE compares out-of-sample accuracy to in-sample accuracy of a naive method, but it is also enlightening for the present question.)