R - Confus sur la terminologie résiduelle

34

Erreur quadratique moyenne
somme résiduelle de carrés
erreur standard résiduelle
erreur quadratique moyenne
erreur de test

Je pensais avoir l'habitude de comprendre ces termes, mais plus je fais de problèmes de statistiques, plus je me suis confus là où je devine moi-même. Je voudrais un peu de réassurance et un exemple concret

Je peux trouver les équations assez facilement en ligne, mais j’ai du mal à comprendre ces termes avec une explication 'comme si j’avais 5 ans' pour pouvoir cristalliser dans ma tête les différences et la façon dont on en mène les unes aux autres.

Si quelqu'un pouvait prendre ce code ci-dessous et indiquer comment je calculerais chacun de ces termes, je l'apprécierais. R code serait génial ..

En utilisant cet exemple ci-dessous:

summary(lm(mpg~hp, data=mtcars))

Montrez-moi en code R comment trouver:

rmse = ____
rss = ____
residual_standard_error = ______  # i know its there but need understanding
mean_squared_error = _______
test_error = ________

Points bonus pour expliquer comme je suis 5 les différences / similitudes entre ceux-ci. Exemple:

rmse = squareroot(mss)

r regression residuals utilisateur3788557
la source

2

Pourriez-vous préciser le contexte dans lequel vous avez entendu le terme " erreur de test "? Parce qu'il y a quelque chose qui s'appelle "erreur de test" mais je ne suis pas sûr que ce soit ce que vous cherchez ... (cela se produit lorsque vous avez un ensemble de test et un ensemble de formation - cela vous semble-t-il familier? )

Steve S

Oui, à ce que je sache, c’est le modèle généré sur le jeu d’apprentissage appliqué au jeu de tests. L'erreur de test est modélisée y - test y ou ((y modélisé - test y) ^ 2 ou (y modélisé - test y) ^ 2 /// DF (ou N?) Ou ((y modélisé - test y's) ^ 2 / N) ^ 5?

user3788557

60

Comme demandé, j'illustrer en utilisant une régression simple en utilisant les mtcarsdonnées:

fit <- lm(mpg~hp, data=mtcars)
summary(fit)

Call:
lm(formula = mpg ~ hp, data = mtcars)

Residuals:
    Min      1Q  Median      3Q     Max 
-5.7121 -2.1122 -0.8854  1.5819  8.2360 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) 30.09886    1.63392  18.421  < 2e-16 ***
hp          -0.06823    0.01012  -6.742 1.79e-07 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 3.863 on 30 degrees of freedom
Multiple R-squared:  0.6024,    Adjusted R-squared:  0.5892 
F-statistic: 45.46 on 1 and 30 DF,  p-value: 1.788e-07

L' erreur quadratique moyenne (MSE) est la moyenne du carré des résidus:

# Mean squared error
mse <- mean(residuals(fit)^2)
mse
[1] 13.98982

L’erreur quadratique moyenne (RMSE) est alors la racine carrée de MSE:

# Root mean squared error
rmse <- sqrt(mse)
rmse
[1] 3.740297

La somme résiduelle des carrés (RSS) est la somme des résidus au carré:

# Residual sum of squares
rss <- sum(residuals(fit)^2)
rss
[1] 447.6743

L’erreur standard résiduelle (RSE) est la racine carrée de (RSS / degrés de liberté):

# Residual standard error
rse <- sqrt( sum(residuals(fit)^2) / fit$df.residual ) 
rse
[1] 3.862962

Le même calcul, simplifié car nous avons précédemment calculé rss:

sqrt(rss / fit$df.residual)
[1] 3.862962

Le terme erreur de test dans le contexte de la régression (et d’autres techniques d’analyse prédictive) désigne généralement le calcul d’une statistique de test sur des données de test, distincte de vos données d’entraînement.

En d'autres termes, vous estimez un modèle à l'aide d'une partie de vos données (souvent un échantillon de 80%), puis vous calculez l'erreur à l'aide de l'échantillon en attente. Encore une fois, j’illustre l’utilisation mtcars, cette fois avec un échantillon de 80%

set.seed(42)
train <- sample.int(nrow(mtcars), 26)
train
 [1] 30 32  9 25 18 15 20  4 16 17 11 24 19  5 31 21 23  2  7  8 22 27 10 28  1 29

Estimer le modèle, puis prédire avec les données de rétention:

fit <- lm(mpg~hp, data=mtcars[train, ])
pred <- predict(fit, newdata=mtcars[-train, ])
pred
 Datsun 710     Valiant  Merc 450SE  Merc 450SL Merc 450SLC   Fiat X1-9 
   24.08103    23.26331    18.15257    18.15257    18.15257    25.92090

Combinez les données d'origine et la prédiction dans un cadre de données

test <- data.frame(actual=mtcars$mpg[-train], pred)
    test$error <- with(test, pred-actual)
test
            actual     pred      error
Datsun 710    22.8 24.08103  1.2810309
Valiant       18.1 23.26331  5.1633124
Merc 450SE    16.4 18.15257  1.7525717
Merc 450SL    17.3 18.15257  0.8525717
Merc 450SLC   15.2 18.15257  2.9525717
Fiat X1-9     27.3 25.92090 -1.3791024

Maintenant, calculez vos statistiques de test de manière normale. J'illustre MSE et RMSE:

test.mse <- with(test, mean(error^2))
test.mse
[1] 7.119804

test.rmse <- sqrt(test.mse)
test.rmse
[1] 2.668296

Notez que cette réponse ignore la pondération des observations.

Andrie
la source

Merci pour cette réponse, cela m'a vraiment aidé à comprendre. En faisant des recherches, le cours de Datacamp sur l'ajustement des modèles décrit une formule différente de la vôtre pour RMSE. J'ai trouvé cette page après une recherche sur Google. La formule que vous avez donnée pour RMSE est intuitive et facile à comprendre. Leur calcul pour RMSE implique les degrés de liberté dans le dénominateur. De plus, si je lis correctement leur message, ils disent que R appelle l'erreur standard résiduelle de RMSE, mais d'après votre réponse, il s'agit de mesures d'évaluation distinctes. Pensées?

Doug Fir

22

L’affiche originale demandait une réponse "explique comme si j’avais 5 ans". Supposons que votre professeur d'école vous invite, ainsi que vos camarades de classe, à aider à deviner la largeur de la table de l'enseignant. Chacun des 20 élèves de la classe peut choisir un appareil (règle, échelle, bande ou mesure) et est autorisé à mesurer le tableau 10 fois. Vous êtes tous invités à utiliser différents emplacements de départ sur l'appareil pour éviter de lire le même numéro encore et encore; la lecture de départ doit ensuite être soustraite de la lecture de fin pour obtenir finalement une mesure de largeur (vous avez récemment appris à faire ce type de calcul).

Au total, 200 mesures de largeur ont été prises par la classe (20 étudiants, 10 mesures chacun). Les observations sont transmises à l'enseignant qui se chargera des chiffres. Soustraire les observations de chaque élève d'une valeur de référence donnera 200 autres nombres, appelés déviations . L'enseignant calcule en moyenne l'échantillon de chaque élève séparément, en obtenant 20 moyennes . En soustrayant les observations de chaque élève de leur moyenne individuelle, on obtiendra 200 écarts par rapport à la moyenne, appelés résidus . Si le résidu moyen devait être calculé pour chaque échantillon, vous remarquerez qu'il est toujours égal à zéro. Si au lieu de cela nous comparons chaque résidu, faisons la moyenne et finalement annulons le carré, nous obtenons l’ écart type. (En passant, nous appelons ce dernier calcul la racine carrée (pensez à trouver la base ou le côté d'un carré donné), ainsi l'ensemble de l'opération est souvent appelé racine-carré-carré , bref, l'écart-type des observations est égal à la racine carrée des résidus.)

Mais le professeur connaissait déjà la vraie largeur de la table, en fonction de la conception, de la construction et du contrôle de celle-ci en usine. Ainsi, 200 autres nombres, appelés erreurs , peuvent être calculés en tant que déviation des observations par rapport à la largeur vraie. Une erreur moyenne peut être calculée pour chaque échantillon d'étudiants. De même, 20 écarts-types de l'erreur , ou erreur-type , peuvent être calculés pour les observations. Plus 20 erreur de moyenne quadratiqueles valeurs peuvent également être calculées. Les trois ensembles de 20 valeurs sont liés par sqrt (me ^ 2 + se ^ 2) = rmse, par ordre d'apparition. Sur la base, l'enseignant peut déterminer à qui l'élève a fourni la meilleure estimation pour la largeur de la table. De plus, en regardant séparément les 20 erreurs moyennes et les 20 valeurs d'erreur standard, l'enseignant peut enseigner à chaque élève comment améliorer ses lectures.

À titre de vérification, l’enseignant a soustrait chaque erreur de leur erreur moyenne respective, ce qui a entraîné 200 autres nombres, que nous appellerons des erreurs résiduelles (c’est rarement le cas). Comme ci-dessus, l' erreur résiduelle moyenne est égale à zéro, de sorte que l' écart type des erreurs résiduelles ou l'erreur résiduelle standard est identique à l' erreur standard et qu'il en est de même de l' erreur résiduelle racine-carré-carré . (Voir ci-dessous pour plus de détails.)

Maintenant, voici quelque chose d'intéressant pour l'enseignant. Nous pouvons comparer la moyenne de chaque élève avec le reste de la classe (20 moyennes au total). Tout comme nous avons défini avant ces valeurs de points:

m: moyenne (des observations),
s: écart type (des observations)
moi: erreur moyenne (des observations)
se: erreur type (des observations)
rmse: erreur quadratique moyenne (des observations)

on peut aussi définir maintenant:

mm: moyenne des moyennes
sm: écart type de la moyenne
mem: erreur moyenne de la moyenne
sem: erreur type de la moyenne
rmsem: erreur quadratique moyenne de la moyenne

Seulement si la classe d'étudiants est dite impartiale, c'est-à-dire si mem = 0, alors sem = sm = rmsem; c'est-à-dire, l'erreur type de la moyenne, l'écart type de la moyenne et l'erreur quadratique moyenne, la moyenne peut être identique, à condition que l'erreur moyenne de la moyenne soit égale à zéro.

Si nous n'avions pris qu'un échantillon, c'est-à-dire s'il n'y avait qu'un seul étudiant en classe, l'écart-type des observations pourrait être utilisé pour estimer l'écart-type de la moyenne (sm), comme sm ^ 2 ~ s ^ 2 / n, où n = 10 est la taille de l'échantillon (le nombre de lectures par élève). Les deux s'accorderont mieux lorsque la taille de l'échantillon augmente (n = 10,11, ...; plus de lectures par élève) et que le nombre d'échantillons augmente (n '= 20,21, ...; plus d'élèves en classe). (Une mise en garde: une "erreur type" non qualifiée fait plus souvent référence à l'erreur type de la moyenne, et non à l'erreur type des observations.)

Voici quelques détails des calculs impliqués. La vraie valeur est notée t.

Opérations set-to-point:

moyenne: MOYENNE (X)
root-mean-square: RMS (X)
écart type: SD (X) = RMS (X-MEAN (X))

ENSEMBLES INTRA-ÉCHANTILLONS:

observations (données), X = {x_i}, i = 1, 2, ..., n = 10.
déviations: différence d'un ensemble par rapport à un point fixe.
résidus: écart des observations par rapport à leur moyenne, R = Xm.
erreurs: écart des observations par rapport à la valeur vraie, E = Xt.
erreurs résiduelles: écart des erreurs par rapport à leur moyenne, RE = E-MOYEN (E)

POINTS INTRA-ÉCHANTILLONS (voir tableau 1):

m: moyenne (des observations),
s: écart type (des observations)
moi: erreur moyenne (des observations)
se: erreur type des observations
rmse: erreur quadratique moyenne (des observations)

Tableau 1

ENSEMBLE INTER-ÉCHANTILLON:

signifie, M = {m_j}, j = 1, 2, ..., n '= 20.
résidus de la moyenne: écart des moyennes par rapport à leur moyenne, RM = M-mm.
erreurs de la moyenne: écart des moyennes de la "vérité", EM = Mt.
erreurs résiduelles de la moyenne: écart des erreurs de la moyenne par rapport à la moyenne, REM = EM-MEAN (EM)

POINTS ENSEMBLE INTER-ÉCHANTILLON (voir le tableau 2):

mm: moyenne des moyennes
sm: écart type de la moyenne
mem: erreur moyenne de la moyenne
sem: erreur type (de la moyenne)
rmsem: erreur quadratique moyenne de la moyenne

Tableau 2

Felipe G. Nievinski
la source

0

Je pense aussi que tous les termes sont très déroutants. Je crois fermement qu'il est nécessaire d'expliquer pourquoi nous avons ces nombreux paramètres.

Voici ma note sur SSE et RMSE:

Première métrique: somme des erreurs au carré (SSE). Autres noms, Somme résiduelle des carrés (RSS), Somme des résidus carrés (SSR).

Si nous sommes dans la communauté d'optimisation, SSE est largement utilisé. C’est parce que c’est l’objectif de l’optimisation, où l’optimisation est

\underset{β}{minimiser} ‖ X β - y ‖^{2}

$\underset{\beta}{\text{minimize}} ~ \|X\beta-y\|^2$

$e=X\beta-y$ $\|e\|^2=e^Te$

Deuxième métrique: erreur quadratique moyenne (RMSE) . Autres noms, déviation racine-moyenne-carrés.

RMSE est

‖ \frac{1}{\sqrt{N}} (X β - y) ‖ = \sqrt{\frac{1}{N} e^{T} e}

$\|\frac 1 {\sqrt N} ({X\beta-y}) \|= \sqrt{\frac 1 N e^Te}$

$N$

$y$

Haitao Du
la source

R - Confus sur la terminologie résiduelle

Réponses: