Comment interpréter les mesures d'erreur?

J'utilise la classification dans Weka pour un certain ensemble de données et j'ai remarqué que si j'essaie de prédire une valeur nominale, la sortie affiche spécifiquement les valeurs prédites correctement et incorrectement. Cependant, je l’utilise maintenant pour un attribut numérique et le résultat est le suivant:

Correlation coefficient                 0.3305
Mean absolute error                     11.6268
Root mean squared error                 46.8547
Relative absolute error                 89.2645 %
Root relative squared error             94.3886 %
Total Number of Instances               36441

Comment puis-je interpréter cela? J'ai essayé de googler chaque notion, mais je ne comprends pas grand chose car les statistiques ne sont pas du tout dans mon domaine de compétence. J'apprécierais beaucoup une réponse de type ELI5 en termes de statistiques.

machine-learning error weka mse rms FloIancu
la source

Nous allons indiquent la valeur réelle d'intérêt et la valeur estimée à l' aide d' un algorithme comme . $\theta$ $\hat{\theta}$

La corrélation vous indique combien et sont liés. Il donne des valeurs entre et , où est sans rapport, est très forte, relation linéaire et est une inverse linéaire relation (ie plus grandes valeurs de indiquent des valeurs plus petites de , ou vice - versa). Vous trouverez ci-dessous un exemple illustré de corrélation. $\theta$ $\hat{\theta}$ $-1$ $1$ $0$ $1$ $-1$ $\theta$ $\hat{\theta}$

Exemple de corrélation

(source: http://www.mathsisfun.com/data/correlation.html )

L'erreur absolue moyenne est:

M A E = \frac{1}{N} \sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |

$\mathrm{MAE} = \frac{1}{N} \sum^N_{i=1} | \hat{\theta}_i - \theta_i |$

L' erreur quadratique moyenne est:

R M S E = \sqrt{\frac{1}{N} \sum_{i = 1}^{N} {({\hat{θ}}_{i} - θ_{i})}^{2}}

$\mathrm{RMSE} = \sqrt{ \frac{1}{N} \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 }$

Erreur absolue relative :

R A E = \frac{\sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |}{\sum_{i = 1}^{N} | \bar{θ} - θ_{i} |}

$\mathrm{ RAE} = \frac{ \sum^N_{i=1} | \hat{\theta}_i - \theta_i | } { \sum^N_{i=1} | \overline{\theta} - \theta_i | }$

où est une valeur moyenne de . $\overline{\theta}$ $\theta$

Erreur au carré relative de la racine:

R R S E = \sqrt{\frac{\sum_{i = 1}^{N} {({\hat{θ}}_{i} - θ_{i})}^{2}}{\sum_{i = 1}^{N} {(\bar{θ} - θ_{i})}^{2}}}

$\mathrm{ RRSE }= \sqrt{ \frac{ \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 } { \sum^N_{i=1} \left( \overline{\theta} - \theta_i \right)^2 }}$

$\theta$ ).

$\mathrm{ MAE}$ $\mathrm{ RMSE}$ $\mathrm{ MSE}$ $\theta$ $\hat{\theta}$ $\theta$

$\mathrm{ RAE}$ $\mathrm{ RRSE}$ $\theta$ $\sum(\overline{\theta} - \theta_i)^2$ $\sum|\overline{\theta} - \theta_i|$ $\theta$ $\theta$ diffère de lui-même (comparer à la variance $\theta$

Vérifiez également ces diapositives .

Tim
la source

Merci pour ton explication! J'essaie d'évaluer la performance de divers algorithmes. Ainsi, par exemple, si j'obtiens cette autre sortie (corrélation: 0,3044, MAE: 10,832, MSE: 47,2971, RAE: 83,163%, RSE: 95,2797%) et j'essaie de la comparer à la première, que l'on pourrait dire, effectuée mieux?

FloIancu

Vous devez choisir le modèle avec une corrélation plus grande et des estimations d'erreur plus petites. Comme vous le voyez, il existe de nombreuses mesures de la performance du modèle (et ce ne sont que quelques-unes d’elles) et elles donnent parfois des réponses différentes. Ce n'est presque jamais le genre de réponse "oui / non" que vous obtenez. La tâche de sélection du modèle deviendrait plus facile si vous rattrapiez la théorie, vous pouvez vérifier par exemple ces conférences .

Tim

Merci beaucoup! Je suis allé de l'avant et marqué votre réponse comme la réponse parce que vous m'avez beaucoup aidé!

FloIancu

@Tim L'erreur absolue moyenne devrait probablement être abrégée en MAE :)

Antoine

@MewX Quel type de références recherchez-vous? C'est fondamentalement un RMSE redimensionné. Il n'y a pas grand chose à dire à ce sujet ...

Tim

Comment interpréter les mesures d'erreur?

Réponses: