Évaluer les performances d'un modèle de régression en utilisant des ensembles de formation et de test?

10

J'entends souvent parler de l'évaluation des performances d'un modèle de classification en présentant l'ensemble de test et en entraînant un modèle sur l'ensemble de formation. Puis création de 2 vecteurs, un pour les valeurs prédites et un pour les vraies valeurs. Évidemment, faire une comparaison permet de juger des performances du modèle par sa puissance prédictive en utilisant des choses comme le F-Score, la statistique Kappa, la précision et le rappel, les courbes ROC, etc.

Comment cela se compare-t-il à l'évaluation d'une prédiction numérique comme la régression? Je suppose que vous pouvez former le modèle de régression sur l'ensemble d'entraînement, l'utiliser pour prédire des valeurs, puis comparer ces valeurs prédites aux vraies valeurs présentes dans l'ensemble de test. De toute évidence, les mesures de la performance devraient être différentes, car il ne s'agit pas d'une tâche de classification. Les valeurs résiduelles habituelles et les statistiques sont des mesures évidentes, mais existe-t-il des moyens plus / meilleurs d'évaluer les performances des modèles de régression? Il semble que la classification ait tant d'options mais la régression est laissée à et aux résidus.R2R2

StatTime
la source
1
Je ne sais pas exactement quelle question vous posez, mais une mesure d'erreur évidente pour un modèle de régression avec une sortie continue est l'erreur quadratique moyenne (MSE) entre la sortie du modèle et la variable de résultat.
BGreene
Donc juste une mesure d'erreur entre le réel et le prévu.
StatTime
Oui, optimisé sur l'ensemble de formation et validé à l'aide de l'ensemble de test.
BGreene

Réponses:

2

Comme dit, généralement, l'erreur quadratique moyenne est utilisée. Vous calculez votre modèle de régression en fonction de votre ensemble d'entraînement et évaluez ses performances à l'aide d'un ensemble de test distinct (un ensemble sur les entrées x et les sorties prédites connues y) en calculant le MSE entre les sorties de l'ensemble de test (y) et les sorties données par le modèle (f (x)) pour les mêmes entrées données (x).

Alternativement, vous pouvez utiliser les mesures suivantes: Erreur quadratique moyenne racine, Erreur quadratique relative, Erreur absolue moyenne, Erreur absolue relative ... (demandez à Google pour les définitions)

Merima Kulin
la source
Bonne réponse. Ceux-ci sont tous associés au deuxième moment de la distribution. Vous pouvez également consulter la somme des différences si vous essayez d'éliminer les biais ou d'utiliser la combinaison de votre choix. Par exemple, où A et B sont des poids choisis pour chaque méthode de notation. Cela dépendra vraiment des facteurs importants pour votre problème spécifique. err=A(xxi)+B(xxi)2
Greg Petersen