J'évalue un modèle physique et je voudrais savoir laquelle des méthodes je dois utiliser ici (entre RMSE et Coefficient de détermination R2)
Le problème est le suivant: j'ai une fonction qui produit des prédictions pour la valeur d'entrée x, . J'ai également l'observation réelle de cette valeur que j'appelle .
Ma question est de savoir quels sont les avantages et les inconvénients de RMSE ou . J'ai vu les deux être utilisés dans des documents pour le problème sur lequel je travaille.
This value shows how well future outcomes can be predicted by the model
- ceci est extrêmement trompeur et penche vers tout simplement faux . Rien ne garantit qu'un coefficient de détermination élevé dans un modèle donné se rapporte à la façon dont les résultats futurs seront prédits.Peu importe la mesure d'erreur que vous donnez, pensez à donner votre vecteur de résultat complet dans une annexe. Les personnes qui aiment comparer avec votre méthode mais préfèrent une autre mesure d'erreur peuvent dériver une telle valeur de votre table.
:R2
Ne reflète pas les erreurs systématiques. Imaginez que vous mesuriez des diamètres au lieu de rayons d'objets circulaires. Vous avez une surestimation attendue de 100%, mais vous pouvez atteindre un proche de 1.R2
En désaccord avec les commentaires précédents selon lesquels est difficile à comprendre. Plus la valeur est élevée, plus votre modèle est précis, mais il peut inclure des erreurs systématiques.R2
Peut être exprimé par la formule facile à comprendre où vous construisez le rapport de la somme des résidus au carré et divisez par la moyenne:
Vous ne pouvez atteindre un faible qu'en ayant à la fois une haute précision (les valeurs aberrantes simples mais importantes punissent fortement) et aucune erreur systématique. Donc, en quelque sorte, un faible RRMSE RMSE R2
Comme d'autres personnes l'ont mentionné, le choix peut dépendre de votre domaine et de l'état de l'art. Existe-t-il également une méthode largement acceptée pour comparer? Utilisez la même mesure qu'eux et vous pourrez lier directement les avantages de vos méthodes facilement dans la discussion.
la source
J'utiliserais ce qui suit comme un guide très général pour comprendre la différence entre les deux mesures:
Le RMSE vous donne une idée de la distance (ou de la distance) entre vos valeurs prédites et les données réelles que vous essayez de modéliser. Ceci est utile dans une variété d' applications où vous souhaitez comprendre l'exactitude et la précision des prédictions de votre modèle (par exemple, la modélisation de la hauteur de l'arbre).
Avantages
Les inconvénients
Avantages
Les inconvénients
Bien sûr, ce qui précède dépendra de la taille de l'échantillon et du plan d'échantillonnage, et d'une compréhension générale que la corrélation n'implique pas de causalité.
la source
Il existe également MAE, Mean Absolute Error. Contrairement à RMSE, il n'est pas trop sensible aux grandes erreurs. D'après ce que j'ai lu, certains champs préfèrent RMSE, d'autres MAE. J'aime utiliser les deux.
la source
En fait, pour que les statisticiens connaissent le meilleur ajustement du modèle, alors le RMSE est très important pour ces personnes dans sa recherche robuste.Si le RMSE est très proche de zéro, alors le modèle est le mieux adapté.
Le coefficient de détermination est bon pour d'autres scientifiques comme l'agriculture et d'autres domaines. Il s'agit d'une valeur comprise entre 0 et 1. Si elle est 1, 100% des valeurs correspondent aux ensembles de données observés. Si c'est 0, alors les données sont complètement hétérogènes. Dr.SK.Khadar Babu, Université VIT, Vellore, Tamil Nadu, Inde.
la source
Si un certain nombre est ajouté à chaque élément de l'un des vecteurs, RMSE change. Idem si tous les éléments d'un ou des deux vecteurs sont multipliés par un nombre. Le code R suit;
la source
En fin de compte, la différence est simplement la standardisation car les deux conduisent au choix du même modèle, car RMSE fois le nombre d'observations est dans le numérateur ou R au carré, et le dénominateur de ce dernier est constant dans tous les modèles (il suffit de tracer une mesure par rapport à la autre pour 10 modèles différents).
la source