Intervalle de confiance de RMSE

J'ai pris un échantillon de points de données d'une population. Chacun de ces points a une vraie valeur (connue de la vérité terrain) et une valeur estimée. Je calcule ensuite l'erreur pour chaque point échantillonné, puis calcule le RMSE de l'échantillon. $n$

Comment puis-je déduire une sorte d'intervalle de confiance autour de ce RMSE, basé sur la taille de l'échantillon ? $n$

Si j'utilisais la moyenne, plutôt que le RMSE, je n'aurais aucun problème à le faire car je peux utiliser l'équation standard

$m = \frac{Z \sigma}{\sqrt{n}}$

mais je ne sais pas si cela est valable pour RMSE plutôt que la moyenne. Existe-t-il un moyen de l'adapter?

(J'ai vu cette question , mais je n'ai aucun problème à savoir si ma population est normalement répartie, ce qui est la réponse là-bas)

confidence-interval robintw
la source

Que calculez-vous précisément lorsque vous "calculez le RMSE de l'échantillon"? Est-ce le RMSE des vraies valeurs, des valeurs estimées ou de leurs différences?

whuber

Je calcule le RMSE des différences, c'est-à-dire le calcul de la racine carrée de la moyenne des différences au carré entre les valeurs vraies et estimées.

robintw

Si vous connaissez la «vérité fondamentale» (bien que je ne sois pas sûr de ce que cela signifie réellement), pourquoi auriez-vous besoin de l'incertitude dans RMSE? Essayez-vous de construire une sorte d'inférence sur des cas où vous n'avez pas la vérité fondamentale? Est-ce un problème d'étalonnage?

Glen_b -Reinstate Monica

@Glen_b: Oui, c'est exactement ce que nous essayons de faire. Nous n'avons pas la vérité fondamentale pour l'ensemble de la population, juste pour l'échantillon. Nous calculons ensuite un RMSE pour l'échantillon, et nous voulons avoir les intervalles de confiance à ce sujet car nous utilisons cet échantillon pour déduire le RMSE de la population.

robintw

Copie possible du SE du RMSE dans R

Curieux

Réponses:

Avec un raisonnement similaire à celui- ci , je pourrai peut-être répondre à votre question sous certaines conditions.

Soit votre vraie valeur pour le point de données et la valeur estimée. Si nous supposons que les différences entre les valeurs estimées et vraies ont $x_{i}$ $i^{th}$ $\hat{x}_{i}$

signifie zéro (c'est-à-dire que les sont répartis autour de ) $\hat{x}_{i}$ $x_{i}$
suivre une distribution normale
et tous ont le même écart-type $\sigma$

en bref:

{\hat{x}}_{i} - x_{i} \sim N (0, σ^{2}),

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

alors vous voulez vraiment un intervalle de confiance pour . $\sigma$

Si les hypothèses ci-dessus sont vraies suit une distribution avec (pas ) degrés de liberté. Ça signifie

\frac{n {RMSE}^{2}}{σ^{2}} = \frac{n \frac{1}{n} \sum_{i} {(\hat{x_{i}} - x_{i})}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} P (χ_{\frac{α}{2}, n}^{2} \leq \frac{n {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, n}^{2}) = 1 - α \\ \Leftrightarrow P (\frac{n {RMSE}^{2}}{χ_{1 - \frac{α}{2}, n}^{2}} \leq σ^{2} \leq \frac{n {RMSE}^{2}}{χ_{\frac{α}{2}, n}^{2}}) = 1 - α \\ \Leftrightarrow P (\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE \leq σ \leq \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE) = 1 - α . \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

Par conséquent, est votre intervalle de confiance.

[\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE, \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

Voici un programme python qui simule votre situation

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

J'espère que cela pourra aider.

Si vous ne savez pas si les hypothèses s'appliquent ou si vous voulez comparer ce que j'ai écrit à une autre méthode, vous pouvez toujours essayer le bootstrap .

fabee
la source

Je pense que vous vous trompez - il veut CI pour RMSE, pas . Et je le veux aussi :)

σ

$\sigma$

Curieux

Je ne pense pas me tromper. Pensez-y comme ceci: le MSE est en fait la variance de l'échantillon puisque . La seule différence est que vous divisez par et non par puisque vous ne soustrayez pas la moyenne de l'échantillon ici. Le RMSE correspondrait alors à . Par conséquent, la population RMSE est et vous voulez un CI pour cela. C'est ce que j'ai dérivé. Sinon, je dois complètement mal comprendre votre problème.

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$

n

$n$

n - 1

$n-1$

σ

$\sigma$

σ

$\sigma$

fabee

Le raisonnement de la réponse de fabee semble correct s'il est appliqué au STDE (écart type de l'erreur), pas au RMSE. En utilisant une nomenclature similaire, est un index représentant chaque enregistrement de données, est la vraie valeur et est une mesure ou une prédiction. $i=1,\,\ldots,\,n$ $x_i$ $\hat{x}_i$

L'erreur , BIAS, MSE (erreur quadratique moyenne) et RMSE sont données par: $\epsilon_i$

ϵ_{je} = {\hat{X}}_{je} - X_{je}, BIAS = \bar{ϵ} = \frac{1}{n} \sum_{je = 1}^{n} ϵ_{je}, MSE = \bar{ϵ^{2}} = \frac{1}{n} \sum_{je = 1}^{n} ϵ_{je}^{2}, RMSE = \sqrt{MSE} .

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

En accord avec ces définitions, le BIAS correspond à la moyenne de l'échantillon de , mais MSE n'est pas la variance de l'échantillon biaisé. Au lieu de cela: ou, si BIAS et RMSE ont été calculés, Il est à noter que la variance de l'échantillon biaisé est utilisée à la place de la non biaisée , pour maintenir la cohérence avec les définitions précédentes données pour le MSE et le RMSE. $\epsilon$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \frac{1}{n} \sum_{je = 1}^{n} (ϵ_{je} - \bar{ϵ})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \bar{ϵ^{2}} - {\bar{ϵ}}^{2} = {RMSE}^{2} - {BIAS}^{2} .

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$

Ainsi, à mon avis, les intervalles de confiance établis par fabee se réfèrent à l'exemple d'écart-type de , STDE. De même, des intervalles de confiance peuvent être établis pour le BIAS sur la base du score z (ou du score t si ) et. $\epsilon$ $n<30$ $\left.\text{STDE}\middle/\sqrt{n}\right.$

cvr
la source

Vous avez raison, mais vous avez manqué une partie de ma réponse. J'ai essentiellement supposé que BIAS = 0 (voir l'hypothèse 1). Dans ce cas, comme vous l'avez dérivé. Étant donné que et sont et qu'il existe une solution de forme proche pour la somme de deux RV, vous pouvez probablement dériver un intervalle de confiance de forme proche pour le cas où l'hypothèse 1 est supprimée. Si vous faites cela et mettez à jour votre réponse, je vais certainement le voter.

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$

R M S E^{2}

$RMSE^2$

B I A S^{2}

$BIAS^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

fabee

Après Faaber 1999 , l'incertitude de RMSE est donnée par où est le nombre de points de données.

σ (\hat{R M S E}) / R M S E = \sqrt{\frac{1}{2 n}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$

n

$n$

LKlevin
la source