Pour quelles distributions existe-t-il un estimateur sans biais de forme fermée pour l'écart-type?

Pour la distribution normale, il existe un estimateur non biaisé de l'écart-type donné par:

{\hat{σ}}_{unbiased} = \frac{Γ (\frac{n - 1}{2})}{Γ (\frac{n}{2})} \sqrt{\frac{1}{2} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}}

$\hat{\sigma}_\text{unbiased} = \frac{\Gamma(\frac{n-1}{2})}{\Gamma(\frac{n}{2})} \sqrt{\frac{1}{2}\sum_{k=1}^n(x_i-\bar{x})^2}$

La raison pour laquelle ce résultat n'est pas si bien connu semble être qu'il s'agit en grande partie d'une curiosité plutôt que d'une question de grande importance . La preuve est couverte sur ce fil ; il profite d'une propriété clé de la distribution normale:

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

De là, avec un peu de travail, il est possible de prendre l'attente $\mathbb{E}\left( \sqrt{\sum_{k=1}^n(x_i-\bar{x})^2} \right)$ , et en identifiant cette réponse comme un multiple de $\sigma$ , on peutdéduire le résultat pour. $\hat{\sigma}_\text{unbiased}$

Cela me laisse curieux de savoir quelles autres distributions ont un estimateur sans biais de forme fermée de l'écart-type. Contrairement à l'estimateur non biaisé de la variance, cela est clairement propre à la distribution. De plus, il ne serait pas simple d'adapter la preuve pour trouver des estimateurs pour d'autres distributions.

Les distributions skew-normales ont de belles propriétés distributionnelles pour leurs formes quadratiques, dont la propriété de distribution normale que nous avons utilisée est en fait un cas spécial (puisque la normale est un type spécial de skew-normal) donc il ne serait peut-être pas si difficile de étendre cette méthode à eux. Mais pour d'autres distributions, il semblerait qu'une approche entièrement différente soit requise.

Existe-t-il d'autres distributions pour lesquelles de tels estimateurs sont connus?

mathematical-statistics standard-deviation unbiased-estimator Silverfish
la source

Si vous ignorez les distractions techniques, la nature de la réponse devient plus claire. Dans le cas normal, peu de ce que vous écrivez est vraiment pertinent pour la conclusion; tout ce qui compte, c'est que la quantité de biais dans cet estimateur particulier est fonction de

seul (et ne dépend pas d'autres paramètres de distribution qui doivent être estimés à partir des données).

n

$n$

whuber

@whuber Je pense que je peux voir l'idée générale à laquelle vous faites allusion, et clairement "la fonction de

seul" est nécessaire. Mais je ne pense pas que ce serait suffisant - si nous n'avions pas accès à de bons résultats de distribution, alors je ne vois pas comment l'aspect "forme fermée" serait traitable.

n

$n$

Silverfish

Cela dépend de ce que vous entendez par «forme fermée». Par exemple, pour une personne, une fonction thêta peut être "fermée", mais pour une autre, ce n'est qu'un produit infini, une série de puissances ou une intégrale complexe. À bien y penser, c'est précisément ce qu'est une fonction Gamma :-).

whuber

@whuber Bon point! Par "la quantité de biais dans cet estimateur particulier", je suppose que vous voulez dire que le biais dans

(plutôt que l'estimateur énuméré dans la question, qui a un biais nul) est une fonction de

(et aussi dans

, mais heureusement de telle manière que nous pouvons facilement réorganiser pour trouver un estimateur sans biais)?

s

$s$

n

$n$

σ

$\sigma$

Silverfish

@whuber: Il devrait y avoir une formule similaire pour toute famille à l'échelle de l'emplacement, avec la mise en garde que vous avez souligné que la fonction de

peut être une intégrale intraitable.

n

$n$

Xi'an

Réponses:

Bien que cela ne soit pas directement lié à la question, il y a un article de 1968 de Peter Bickel et Erich Lehmann qui déclare que, pour une famille convexe de distributions , il existe un estimateur non biaisé d'un fonctionnel (pour une taille d'échantillon assez grand) si et seulement si est un polynôme à $F$ $q(F)$ $n$ $q(\alpha F+(1-\alpha)G)$ $0\le \alpha\le 1$ . Ce théorème ne s'applique pas au problème ici car la collection de distributions gaussiennes n'est pas convexe (un mélange de gaussiens n'est pas un gaussien).

Une extension du résultat de la question est que toute puissance de l'écart-type peut être estimée sans biais, à condition qu'il y ait suffisamment d'observations lorsque . Cela découle du résultat $\sigma^\alpha$ $\alpha<0$ queest le paramètre d'échelle (et unique) pour.

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

σ

$\sigma$

\sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}

$\sum_{k=1}^n(x_i-\bar{x})^2$

Ce réglage normal peut ensuite être étendu à toute famille d'échelle d'emplacement avec une variance finie . En effet,

X_{1}, \dots, X_{n} \overset{iid}{\sim} τ^{- 1} f (τ^{- 1} {x - μ})

$X_1,\ldots,X_n\stackrel{\text{iid}}{\sim} \tau^{-1}f(\tau^{-1}\{x-\mu\})$

σ^{2}

$\sigma^2$

${var}_{μ, τ} (X) = E_{μ, τ} [(X - μ)^{2}] = τ^{2} E_{0, 1} [X^{2}]$ $\text{var}_{\mu,\tau}(X)=\mathbb{E}_{\mu,\tau}[(X-\mu)^2]=\tau^2\mathbb{E}_{0,1}[X^2]$ $\tau$
$\begin{aligned} E_{μ, τ} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] & = τ^{2} E_{μ, τ} [\sum_{k = 1}^{n} τ^{- 2} (X_{i} - μ - \bar{X} + μ)^{2}] \\ = τ^{2} E_{0, 1} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] \end{aligned}$ $\begin{align*}\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]&=\tau^2\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n\tau^{-2}(X_i-\mu-\bar{X}+\mu)^2\right]\\ &=\tau^2\mathbb{E}_{0,1}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]\end{align*}$ has an expectation of the form $\tau^2\psi(n)$ ;
and similarly for any power $E_{μ, τ} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}] = τ^{2 α} E_{0, 1} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}]$ $\mathbb{E}_{\mu,\tau}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]=\tau^{2\alpha}\mathbb{E}_{0,1}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]$ such that the expectation is finite.

Xi'an
la source

A probably well known case, but a case nevertheless.
Consider a continuous uniform distribution $U(0,\theta)$ . Given an i.i.d. sample, the maximum order statistic, $X_{(n)}$ has expected value

E (X_{(n)}) = \frac{n}{n + 1} θ

$E(X_{(n)}) = \frac {n}{n+1}\theta$

The standard deviation of the distribution is

σ = \frac{θ}{2 \sqrt{3}}

$\sigma = \frac {\theta}{2\sqrt 3}$

So the estimator

\hat{σ} = \frac{1}{2 \sqrt{3}} \frac{n + 1}{n} X_{(n)}

$\hat \sigma = \frac 1{2\sqrt 3}\frac {n+1}{n}X_{(n)}$

is evidently unbiased for $\sigma$ .

This generalizes to the case where the lower bound of the distribution is also unknown, since we can have an unbiased estimator for the Range, and then the standard deviation is again a linear function of the Range (as is essentially above also).

This exemplifies @whuber's comment, that "the amount of bias is a function of $n$ alone" (plus possibly any known constants) -so it can be deterministically corrected. And this is the case here.

Alecos Papadopoulos
la source

Now the hard part: when in the world are we interested in the standard deviation of a uniform distribution? (+1)

shadowtalker

@ssdecontrol That's an excellent question! -please proceed to the next one...

Alecos Papadopoulos

One thing I love about this answer is how poor the estimator is. It's quite common to see a question which boils down to "why do we use

\hat{θ}

$\hat{\theta}$ as an estimator even though it's biased?" Some students need convincing that unbiasedness is not the be-all and end-all, and a poor unbiased estimator is one way to show them.

Silverfish

@Silverfish Poor in what way? Some quick simulations show this to have lower MSE than the usual standard deviation (which surprised me).

Dave

@Dave Interesting! I had jumped to the conclusion it would be poor since it only looked at the maximum order statistic, but I too stand surprised! Shows the value of doing some simulation...

Silverfish