RMSE et MAE peuvent-ils avoir la même valeur?

9

J'implémente la validation croisée et calcule des métriques d'erreur telles que RMSE, , MAE, MSE, etc.R2

RMSE et MAE peuvent-ils avoir la même valeur?

Perl
la source
1
Oui. Pourquoi pas? Soit X toujours 0 et un prédicteur de X toujours 1 . Voilà
David

Réponses:

17

Oui, en théorie. Le cas le plus simple que je peux imaginer est un ensemble de données où toutes les erreurs de prédiction (c'est-à-dire les résidus) sont exactement ± 1. RMSE et MAE renverront des valeurs identiques de 1. On peut également construire d'autres scénarios, mais aucun ne semble très probable.

EDIT: Merci à @DilipSarwate d'avoir souligné (développé par @ user20160 dans son excellente réponse) que ce résultat est possible si et seulement si les valeurs absolues de toutes les erreurs de prédiction sont identiques. En d' autres termes, la valeur ± 1 n'a rien de spécial dans mon exemple; tout autre nombre fonctionnerait au lieu de 1.

mkt - Réintégrer Monica
la source
1
Pourriez-vous donner un exemple des autres scénarios que vous envisagez? Je veux dire un exemple autre qu'un multiple scalaire (lorsque tous les résidus sont au lieu de ± 1 ) de l'exemple ci-dessus. ±σ±1
Dilip Sarwate
@DilipSarwate Je réfléchissais à cela lorsque user20160 a ajouté une bien meilleure réponse qui la couvre plus en détail que je ne le pouvais.
mkt
1
@mkt Merci pour les aimables paroles. Votre réponse est correcte et concise (+1)
user20160
@DilipSarwate Merci pour votre contribution
mkt
1
Quelques embellissements supplémentaires à votre réponse: (i) doit être pair (disons n = 2 k ) et (ii) exactement k résidus doivent avoir une valeur + σ et exactement k résidus doivent avoir une valeur - σ , ce qui signifie bien sûr que tous les résidus ont une valeur absolue σ comme vous le dites, mais (ii) s'assure que les résidus se résument à 0 comme ils le doivent. Les résidus sont les écarts par rapport à la moyenne et doivent donc totaliser zéro. nn=2kk+σk-σσ0
Dilip Sarwate
23

L'erreur absolue moyenne (MAE) peut être égale à l'erreur quadratique moyenne (MSE) ou à l'erreur quadratique moyenne (RMSE) dans certaines conditions, que je montrerai ci-dessous. Ces conditions sont peu susceptibles de se produire dans la pratique.

Préliminaires

Soit rje=|yje-y^je|désigne la valeur absolue du résidu pour le je ème point de données, et soit r=[rje,,rn]T un vecteur contenant des résidus absolus pour tous les n points de l'ensemble de données. Soit 1 désigne un vecteur n×1 de l'un, le MAE, le MSE et le RMSE peuvent s'écrire:

(1)MUNEE=1n1TrMSE=1nrTrRMSE=1nrTr

MSE

Définir le MSE égal au MAE et réorganiser donne:

(2)(r-1)Tr=0

Le MSE et le MAE sont égaux pour tous les ensembles de données où les résidus absolus résolvent l'équation ci-dessus. Deux solutions évidentes sont: r=0 (il n'y a pas d'erreur) et r=1 (les résidus sont tous ±1 , comme mentionné mkt). Mais, il existe une infinité de solutions.

Nous pouvons interpréter l'équation (2) géométriquement comme suit: Le LHS est le produit scalaire de r1 et r . Le produit à point zéro implique l'orthogonalité. Ainsi, le MSE et le MAE sont égaux si la soustraction de 1 de chaque résidu absolu donne un vecteur orthogonal aux résidus absolus d'origine.

De plus, en remplissant le carré, l'équation (2) peut être réécrite comme:

(3)(r-121)T(r-121)=n4

Cette équation décrit une sphère à n dimensions centrée sur [12,,12]Tavec rayon12n . Le MSE et le MAE sont égaux si et seulement si les résidus absolus se trouvent à la surface de cette hypersphère.

RMSE

Régler le RMSE égal au MAE et réorganiser donne:

(4)rTUNEr=0

UNE=(nje-11T)

je est la matrice d'identité. L'ensemble de solutions est l' espace nul de UNE ; c'est-à-dire l'ensemble de tous les r tels que UNEr=0 . Pour trouver l'espace nul, notez que UNE est une matrice n×n avec des éléments diagonaux égaux à n-1 et tous les autres éléments égaux à -1 . L'énoncé UNEr=0 correspond au système d'équations:

(5)(n-1)rje-jjerj=0je

Ou, réorganiser les choses:

(6)rje=1n-1jjerjje

Autrement dit, chaque élément rje doit être égal à la moyenne des autres éléments. La seule façon de satisfaire à cette exigence est que tous les éléments soient égaux (ce résultat peut également être obtenu en considérant la composition par eigend de UNE ). Par conséquent, l'ensemble de solutions se compose de tous les vecteurs non négatifs avec des entrées identiques:

{rr=c1c0}

Ainsi, le RMSE et le MAE sont égaux si et seulement si les valeurs absolues des résidus sont égales pour tous les points de données.

user20160
la source
1
+1. J'ai ressenti le besoin de vérifier que la majeure partie de cette hypersphère se situe dans la région où toutes les composantes de sont non négatives, ce qui est une exigence de résidus absolus: cela m'a convaincu qu'il existe vraiment de très nombreuses solutions (non triviales). r
whuber
1
En fait, la question était de savoir si RMSE et MAE peuvent jamais être égaux et non si MSE et MAE peuvent jamais être égaux. Peut-être que la réponse de @ mkt (ou la version généralisée de celle-ci que j'ai suggérée dans un commentaire) est la seule réponse à la question RMSE = MAE?
Dilip Sarwate
@DilipSarwate, Oui, j'ai réalisé après avoir posté cela que j'avais sauté la partie «R». J'ai modifié pour inclure RMSE maintenant. Je pense que la version que vous avez suggérée est la seule réponse possible dans ce cas.
user20160
@whuber C'est un bon point. Je vais essayer d'éditer quelque chose comme ça.
user20160
2
@Hiyam S'il n'y a qu'une seule valeur, RMSE par définition doit être égal à MAE. Parce qu'il n'y a qu'une seule erreur, la mettre au carré et prendre la racine renvoie simplement la valeur absolue de l'erreur d'origine.
mkt