Est-il possible d'avoir un estimateur sans biais et borné?

Je présenterai les conditions dans lesquelles un estimateur sans biais reste sans biais, même après avoir été borné. Mais je ne suis pas sûr qu'ils représentent quelque chose d'intéressant ou d'utile.

Soit un estimateur $\hat \theta$ du paramètre inconnu $\theta$ d'une distribution continue, et $E(\hat \theta) =\theta$ .

Supposons que, pour certaines raisons, sous échantillonnage répété, nous voulons que l’estimateur produise des estimations $[\delta_l,\delta_u]$ . Nous supposons que $\theta \in [\delta_l,\delta_u]$ et nous pouvons donc écrire quand cela est commode l'intervalle comme $[\theta-a,\theta+b]$ avec $\{a,b\}$ nombres positifs mais bien sûr inconnus.

Alors l'estimateur contraint est

{\hat{θ}}_{c} = {\begin{matrix} δ_{l} & \hat{θ} < δ_{l} \\ \hat{θ} & δ_{l} \leq \hat{θ} \leq δ_{u} \\ δ_{u} & δ_{u} < \hat{θ} \end{matrix}}

$\hat \theta_c = \left\{\begin{matrix} \delta_l & \hat \theta <\delta_l\\\hat \theta &\delta_l \leq \hat \theta \leq \delta_u \\\delta_u & \delta_u < \hat \theta \end{matrix} \right\}$

et sa valeur attendue est

\begin{aligned} E ({\hat{θ}}_{c}) & = δ_{l} \cdot P [\hat{θ} \leq δ_{l}] \\ + E (\hat{θ} ∣ δ_{l} \leq \hat{θ} \leq δ_{u}) \cdot P [δ_{l} \leq \hat{θ} \leq δ_{u}] \\ + δ_{u} \cdot P [\hat{θ} > δ_{u}] \end{aligned}

$\begin{align} E(\hat \theta_c) &= \delta_l\cdot P[\hat \theta \leq \delta_l] \\&+ E(\hat \theta \mid \delta_l \leq\hat \theta \leq\delta_u )\cdot P[\delta_l \leq\hat \theta \leq \delta_u] \\ &+\delta_u\cdot P[\hat \theta > \delta_u]\end{align}$

Définissez maintenant les fonctions d'indicateur

I_{l} = I (\hat{θ} \leq δ_{l}), I_{m} = I (δ_{l} \leq \hat{θ} \leq δ_{l}), I_{u} = I (\hat{θ} > δ_{u})

$I_l = I(\hat \theta \leq \delta_l),\;\; I_m = I(\delta_l\leq \hat \theta \leq \delta_l),\;\; I_u = I(\hat \theta > \delta_u)$

et notez que

\begin{matrix} (1) & I_{l} + I_{u} = 1 - I_{m} \end{matrix}

$I_l + I_u = 1- I_m \tag{1}$

en utilisant ces fonctions d'indicateur et intégrales, nous pouvons écrire la valeur attendue de l'estimateur contraint comme ( $f(\hat \theta)$ est la fonction de densité de $\hat \theta$ ),

E ({\hat{θ}}_{c}) = \int_{- \infty}^{\infty} δ_{l} f (\hat{θ}) I_{l} d \hat{θ} + \int_{- \infty}^{\infty} \hat{θ} f (\hat{θ}) I_{m} d \hat{θ} + \int_{- \infty}^{\infty} δ_{u} f (\hat{θ}) I_{u} d \hat{θ}

$E(\hat \theta_c) = \int_{-\infty}^{\infty}\delta_lf(\hat \theta)I_ld\hat \theta + \int_{-\infty}^{\infty}\hat \theta f(\hat \theta)I_md\hat \theta + \int_{-\infty}^{\infty} \delta_uf(\hat \theta)I_ud\hat \theta$

= \int_{- \infty}^{\infty} f (\hat{θ}) [δ_{l} I_{l} + \hat{θ} I_{m} + δ_{u} I_{u}] d \hat{θ}

$=\int_{-\infty}^{\infty}f(\hat \theta)\Big[\delta_lI_l + \hat \theta I_m + \delta_uI_u\Big]d\hat \theta$

\begin{matrix} (2) & = E [δ_{l} I_{l} + \hat{θ} I_{m} + δ_{u} I_{u}] \end{matrix}

$=E\Big[\delta_lI_l + \hat \theta I_m + \delta_uI_u\Big] \tag{2}$

En décomposant les bornes supérieure et inférieure, nous avons

E ({\hat{θ}}_{c}) = E [(θ - a) I_{l} + \hat{θ} I_{m} + (θ + b) I_{u}]

$E(\hat \theta_c) = E\Big[(\theta-a)I_l + \hat \theta I_m + (\theta+b)I_u\Big]$

= E [θ \cdot (I_{l} + I_{u}) + \hat{θ} I_{m}] - a E (I_{l}) + b E (I_{u})

$=E\Big[\theta\cdot(I_l+I_u) + \hat \theta I_m\Big] -aE(I_l)+bE(I_u)$

et en utilisant $(1)$ ,

= E [θ \cdot (1 - I_{m}) + \hat{θ} I_{m}] - a E (I_{l}) + b E (I_{u})

$= E\Big[\theta\cdot(1-I_m) + \hat \theta I_m\Big] -aE(I_l)+bE(I_u)$

\begin{matrix} (3) & \Rightarrow E ({\hat{θ}}_{c}) = θ + E [(\hat{θ} - θ) {je}_{m}] - une E ({je}_{l}) + b E ({je}_{u}) \end{matrix}

$\Rightarrow E(\hat \theta_c) = \theta +E\big[(\hat \theta -\theta)I_m\big]-aE(I_l)+bE(I_u) \tag {3}$

Maintenant, depuis $E(\hat \theta) = \theta$ on a

E [(\hat{θ} - θ) {je}_{m}] = E (\hat{θ} {je}_{m}) - E (\hat{θ}) E ({je}_{m})

$E\big[(\hat \theta -\theta)I_m\big] = E\big(\hat \theta I_m\big) - E(\hat \theta)E(I_m)$

Mais

E (\hat{θ} I_{m}) = E (\hat{θ} I_{m} ∣ I_{m} = 1) E (I_{m}) = E (\hat{θ}) E (I_{m})

$E\big(\hat \theta I_m\big) = E\big(\hat \theta I_m\mid I_m=1\big)E(I_m) = E\big(\hat \theta \big)E(I_m)$

Par conséquent, $E\big[(\hat \theta -\theta)I_m\big] =0$ et donc

\begin{matrix} (4) & \begin{aligned} E ({\hat{θ}}_{c}) & = θ - a E (I_{l}) + b E (I_{u}) \\ = θ - a P (\hat{θ} \leq δ_{l}) + b P (\hat{θ} > δ_{u}) \end{aligned} \end{matrix}

$\begin{align} E(\hat \theta_c) &= \theta -aE(I_l)+bE(I_u) \\ &= \theta -aP(\hat \theta \leq \delta_l)+bP(\hat \theta > \delta_u)\end{align}\tag {4}$

Ou bien

\begin{matrix} (4a) & E ({\hat{θ}}_{c}) = θ - (θ - δ_{l}) P (\hat{θ} \leq δ_{l}) + (δ_{u} - θ) P (\hat{θ} > δ_{u}) \end{matrix}

$E(\hat \theta_c) = \theta -(\theta-\delta_l)P(\hat \theta \leq \delta_l)+(\delta_u-\theta)P(\hat \theta > \delta_u)\tag {4a}$

Par conséquent, à partir de $(4)$ , nous voyons que pour que l'estimateur contraint soit également sans biais, nous devons avoir

\begin{matrix} (5) & a P (\hat{θ} \leq δ_{l}) = b P (\hat{θ} > δ_{u}) \end{matrix}

$aP(\hat \theta \leq \delta_l) = bP(\hat \theta > \delta_u) \tag {5}$

Quel est le problème avec la condition $(5)$ ? Il implique les nombres inconnus $\{a,b\}$ , donc en pratique nous ne pourrons pas réellement déterminer un intervalle pour délimiter l'estimateur et le garder sans biais.

Mais disons qu'il s'agit d'une expérience de simulation contrôlée, où nous voulons étudier d'autres propriétés des estimateurs, étant donné l'impartialité. Ensuite, nous pouvons "neutraliser" $a$ et $b$ en définissant $a=b$ , ce qui crée essentiellement un intervalle symétrique autour de la valeur de $\theta$ ... Dans ce cas, pour atteindre l'impartialité, nous devons plus $P(\hat \theta \leq \delta_l) = P(\hat \theta > \delta_u)$ , c'est-à-dire que nous devons avoir que la masse de probabilité de l' estimateur non contraint est égale à la gauche et à la droite de la (symétrique autour de $\theta$ ) intervalle ...

... et nous apprenons donc que (comme conditions suffisantes), si la distribution de l'estimateur non contraint est symétrique autour de la valeur vraie, alors l'estimateur contraint dans un intervalle symétrique autour de la valeur vraie sera également non biaisé ... mais c'est presque trivialement évident ou intuitif, n'est-ce pas?

Cela devient un peu plus intéressant, si nous réalisons que la condition nécessaire et suffisante (étant donné un intervalle symétrique) a) ne nécessite pas une distribution symétrique , seulement une masse de probabilité égale "dans la queue" (et cela n'implique pas à son tour que le la distribution de la masse dans chaque queue doit être identique) et b) permet qu'à l'intérieur de l'intervalle, la densité de l'estimateur puisse avoir n'importe quelle forme non symétrique compatible avec le maintien de l'impartialité - cela rendra l'estimateur contraint sans biais.

APPLICATION: Le cas du PO
Notre estimateur est $\hat \theta = \theta + w,\;\; w \sim N(0,1)$ et donc $\hat \theta \sim N(\theta,1)$ . Ensuite, en utilisant $(4)$ en écrivant $a,b$ en terme de $\theta, \delta$ , nous avons, pour l'intervalle de délimitation $[0,1]$ ,

E [{\hat{θ}}_{c}] = θ - θ P (\hat{θ} \leq 0) + (1 - θ) P (\hat{θ} > 1)

$E[\hat \theta_c] = \theta -\theta P(\hat \theta \leq 0) +(1-\theta)P(\hat \theta > 1)$

La distribution est symétrique autour $\theta$ . Transformer ( $\Phi()$ est le CDF normal standard)

E [{\hat{θ}}_{c}] = θ - θ P (\hat{θ} - θ \leq - θ) + (1 - θ) P (\hat{θ} - θ > 1 - θ)

$E[\hat \theta_c] = \theta -\theta P(\hat \theta-\theta \leq -\theta) +(1-\theta)P(\hat \theta -\theta > 1-\theta)$

= θ - θ Φ (- θ) + (1 - θ) [1 - Φ (1 - θ)]

$=\theta -\theta \Phi(-\theta) +(1-\theta)[1-\Phi(1-\theta)]$

On ne peut vérifier que les conditions supplémentaires ne s’annulent que si $\theta =1/2$ , à savoir uniquement si l'intervalle de délimitation est également symétrique autour de $\theta$ .

Alecos Papadopoulos
la source

Je ne pense pas que cela réponde à la question. Vous analysez la troncature. La question n'est pas "La troncature fonctionne-t-elle?", Mais plutôt "Existe-t-il une alternative à la troncature qui fonctionne?". OP semble être conscient que la troncature ne fonctionne pas.

Thomas

@Thomas L'OP demande (dernière phrase du post de l'OP) si nous pouvons avoir un estimateur borné qui est également non biaisé. Je présente d'abord un traitement général de la question puis une application directement dans les locaux du PO. Je ne comprends pas pourquoi cela "ne répond pas à la question".

Alecos Papadopoulos

Vous supposez une forme fonctionnelle spécifique pour l'estimateur, à savoir

F (\hat{θ}) = {\begin{matrix} δ_{l} & \hat{θ} < δ_{l} \\ \hat{θ} & δ_{l} \leq \hat{θ} \leq δ_{u} \\ δ_{u} & δ_{u} < \hat{θ} \end{matrix}}

$f(\hat \theta) = \left\{\begin{matrix} \delta_l & \hat \theta <\delta_l\\\hat \theta &\delta_l \leq \hat \theta \leq \delta_u \\\delta_u & \delta_u < \hat \theta \end{matrix} \right\}$ pour certains

δ_{l}, δ_{u} \in R

$\delta_l,\delta_u \in \mathbb{R}$ . Mon interprétation est que la question porte sur tout estimateur borné

f

$f$ , pas seulement des estimateurs avec cette forme fonctionnelle. Par exemple,

f (\hat{θ}) = \sin (\hat{θ})

$f(\hat \theta) = \sin(\hat \theta)$ serait un estimateur borné (mais pas utile cependant).

Thomas

(Je commente cette question vieille de plusieurs années parce que j'ai la même question. En particulier, la question qui m'intéresse concerne les estimateurs bornés arbitrairement.)

Thomas

@Thomas Il est vrai que mes explorations ne traitent pas le bornage dans sa plus grande généralité. Il est également vrai qu'une fois que vous avez composé l'estimateur avec une fonction non linéaire, il doit en général être biaisé, comme condition nécessaire pour que la transformation ne soit pas biaisée.

Alecos Papadopoulos

Est-il possible d'avoir un estimateur sans biais et borné?

Réponses: