Erreur quadratique moyenne par rapport à l'erreur quadratique minimale, laquelle comparer les ensembles de données?

J'ai 3 jeux de données du même système. Mais pour le premier, j'ai 21 mesures. Pour les deuxième et troisième, je n'ai que 9 mesures. Maintenant, j'ai fait un modèle en utilisant ces 3 jeux de données (donc 3 modèles, 1 par jeu de données). Quand je veux comparer l'erreur entre ces deux ensembles de données. Y a-t-il un net avantage à utiliser le MSE à la place du LSE (erreur la moins carrée). Sur Internet, je ne trouve pas de réponse claire à cela. Quels sont les principaux avantages?

Je pense que vous ne savez pas comment construire un modèle à partir de données et comment quantifier la précision d'un modèle une fois qu'il est construit.

Lorsque vous voulez construire un modèle (régression linéaire dans votre cas, je suppose?), Vous utilisez généralement la méthode de l' erreur la moins carrée qui minimise la distance euclidienne "totale" entre une ligne et les points de données. Théoriquement, les coefficients de cette ligne peuvent être trouvés en utilisant le calcul mais en pratique, un algorithme effectuera une descente de gradient qui est plus rapide.

Une fois que vous avez votre modèle, vous souhaitez évaluer ses performances. Ainsi, dans le cas de la régression, il peut être bon de calculer une métrique qui évalue «dans quelle mesure» votre modèle aux points de données réels (ou testez les données de l'ensemble si vous en avez un) en moyenne. Le MSE est une bonne estimation que vous voudrez peut-être utiliser!

Pour résumer, gardez à l'esprit que LSE est une méthode qui construit un modèle et MSE est une métrique qui évalue les performances de votre modèle.

MSE (Mean Squared Error) est la moyenne de l'erreur quadratique, c'est-à-dire la différence entre l'estimateur et l'estimation. MMSE (Minumum Mean Square Error) est un estimateur qui minimise le MSE. Par conséquent, LSE et MMSE sont comparables car les deux sont des estimateurs. LSE et MSE ne sont pas comparables comme l'a souligné Anil. Il existe en théorie d'importantes différences entre MMSE et LSE.
MMSE est optimal pour toutes les réalisations du processus tandis que LSE est optimal pour les données données elles-mêmes. En effet, MMSE utilise des moyennes d'ensemble (attente) tandis que LSE utilise la moyenne temporelle.

Ce que cela signifie pratiquement: 1. Pour MMSE, vous devez connaître les propriétés statistiques de second ordre des données (corrélation croisée et autocorrélation), tandis que pour LSE, vous n'avez besoin que des données. L'autocorrélation et la corrélation croisée coûtent cher en calcul et un calcul précis nécessite beaucoup de points de données / d'expériences. 2. Les coefficients MMSE sont optimaux pour le processus, il est donc optimal pour tous les ensembles de données du processus, tandis que LSE n'est optimal que pour l'ensemble de données particulier. Les coefficients LSE ne resteront pas optimaux si l'ensemble de données change.

Veuillez également noter que MMSE approche LSE si le processus est ergodique et que le nombre de points de données approche l'infini.

Je pense que la première réponse actuelle d'Anil Narassiguin est trompeuse. Il dit en bas: "LSE est une méthode qui construit un modèle et MSE est une métrique qui évalue les performances de votre modèle."

Ce n'est tout simplement pas vrai. Fondamentalement, ce sont deux fonctions de perte / coût . Les deux calculent l'erreur des prédictions actuelles tout en itérant afin que les poids puissent être optimisés.

Cependant, LSE est utilisé pour les problèmes de classification tandis que MSE est utilisé pour les problèmes de régression. Je crois que c'est la principale différence entre ces deux, vous devez donc déterminer quel type de problème vous avez, la régression de la classification.