MAD = écart absolu moyen MSE = erreur quadratique moyenne
J'ai vu des suggestions de divers endroits selon lesquelles MSE est utilisé malgré certaines qualités indésirables (par exemple http://www.stat.nus.edu.sg/~staxyc/T12.pdf , qui déclare en p8 "On pense généralement que MAD est un meilleur critère que MSE. Cependant, mathématiquement, MSE est plus pratique que MAD. ")
Y at-il plus que cela? Existe-t-il un document qui analyse en profondeur les situations dans lesquelles différentes méthodes de mesure des erreurs de prévision sont plus / moins appropriées? Mes recherches sur Google n'ont rien révélé.
Une question similaire à celle-ci a été posée à /programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde , et l'utilisateur a été invité à publier sur stats.stackexchange.com, mais je ne pense pas qu'ils l'aient jamais fait.
la source
Réponses:
Pour décider de la mesure d'erreur de prévision ponctuelle à utiliser, nous devons prendre du recul. Notez que nous ne connaissons pas parfaitement les résultats futurs, et nous ne le saurons jamais. Le résultat futur suit donc une distribution de probabilité . Certaines méthodes de prévision produisent explicitement une telle distribution complète, et d'autres non - mais elle est toujours là, ne serait-ce qu'implicitement.
Maintenant, nous voulons avoir une bonne mesure d'erreur pour une prévision ponctuelle . Une telle prévision ponctuelleFt est notre tentative de résumer ce que nous savons de la distribution future (c'est-à-dire la distribution prédictive) au temps t utilisant un seul nombre, une fonction dite de la densité future. La mesure d'erreur est alors un moyen d'évaluer la qualité de ce résumé de numéro unique.
Vous devez donc choisir une mesure d'erreur qui récompense les «bons» résumés numériques des densités futures (inconnues, peut-être prévues, mais peut-être seulement implicites).
Le défi est que différentes mesures d'erreur sont minimisées par différentes fonctions. Le MSE attendu est minimisé par la valeur attendue de la distribution future. Le MAD attendu est minimisé par la médiane de la distribution future. Ainsi, si vous calibrez vos prévisions pour minimiser le MAE, votre prévision ponctuelle sera la future médiane, pas la valeur attendue future, et vos prévisions seront biaisées si votre distribution future n'est pas symétrique.
Ceci est particulièrement pertinent pour les données de comptage, qui sont généralement asymétriques. Dans les cas extrêmes (disons, les ventes de Poisson distribuées avec une moyenne inférieure àJournal2 ≈ 0,69 ), votre MAE sera le plus bas pour une prévision de zéro plat. Voir ici ou ici ou ici pour plus de détails.
Je donne plus d'informations et une illustration dans Quelles sont les lacunes de l'erreur en pourcentage absolu moyen (MAPE)? Ce thread considère le mape , mais aussi d'autres mesures d'erreur, et il contient des liens vers d'autres threads liés.
En fin de compte, la mesure d'erreur à utiliser dépend vraiment de votre coût d'erreur de prévision, c'est-à-dire du type d'erreur le plus douloureux. Sans examiner les implications réelles des erreurs de prévision, toute discussion sur les «meilleurs critères» est essentiellement dénuée de sens.
Les mesures de l'exactitude des prévisions étaient un sujet important dans la communauté des prévisions il y a quelques années, et elles apparaissent toujours de temps en temps. Un très bon article à consulter est Hyndman & Koehler "Un autre regard sur les mesures de l'exactitude des prévisions" (2006).
Enfin, une alternative consiste à calculer les densités prédictives complètes et à les évaluer à l'aide de règles de notation appropriées .
la source
Les avantages d'utiliser MAE au lieu de MSE sont expliqués dans Davydenko et Fildes (2016) , voir la section 3.1:
Les références
Davydenko, A. et Fildes, R. (2016). Mesures des erreurs de prévision: examen critique et recommandations pratiques. Dans Business Forecasting: Practical Problems and Solutions. John Wiley & Sons
la source
Réellement,
Si le RMSE est proche du MAE, vous avez de nombreux petits écarts, s'il est proche de sa limite supérieure, il y a peu de prédictions grossièrement fausses.
la source