Pour quels modèles le biais du MLE chute-t-il plus vite que la variance?

$\hat\theta$$\theta^*$$n$$\lVert\hat\theta-\theta^*\rVert$$O(1/\sqrt n)$$\lVert \mathbb E\hat\theta - \theta^*\rVert$$\lVert \mathbb E\hat\theta - \hat\theta\rVert$$O(1/\sqrt{n})$

Je m'intéresse aux modèles qui ont un biais qui rétrécit plus rapidement que $O(1/\sqrt n)$ , mais où l'erreur ne diminue pas à ce rythme plus rapide car l'écart se rétrécit toujours comme $O(1/\sqrt n)$ . En particulier, je voudrais connaître des conditions suffisantes pour que le biais d'un modèle se rétrécisse au taux $O(1/n)$ .

En général, vous avez besoin de modèles où le MLE n'est pas asymptotiquement normal mais converge vers une autre distribution (et il le fait à un rythme plus rapide). Cela se produit généralement lorsque le paramètre sous-estimé se trouve à la limite de l'espace des paramètres. Intuitivement, cela signifie que le MLE approchera le paramètre "uniquement d'un côté", de sorte qu'il "améliore la vitesse de convergence" car il n'est pas "distrait" en allant "d'avant en arrière" autour du paramètre.

Un exemple standard est le MLE pour $\theta$ dans un échantillon iid de RV uniformes Le MLE ici est la statistique d'ordre maximum,$U(0,\theta)$

$$\hat \theta_n = u_{(n)}$$

Sa distribution d'échantillons finis est

$$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$$

$$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$$

Donc . Mais le même taux accru s'appliquera également à la variance.$B(\hat \theta_n) = O(1/n)$

On peut aussi vérifier que pour obtenir une distribution limite, il faut regarder la variable , (c'est-à-dire que nous devons de ) puisque$n(\theta - \hat \theta_n)$$n$

$$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$$

$$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$$

$$\to 1- e^{-z/\theta}$$

qui est le CDF de la distribution exponentielle.

J'espère que cela donne une certaine direction.

Après les commentaires de mon autre réponse (et en revoyant le titre de la question du PO!), Voici une exploration théorique peu rigoureuse de la question.

Nous voulons déterminer si le biais peut avoir un taux de convergence différent de la racine carrée de la variance,$B(\hat \theta_n) = E(\hat \theta_n) - \theta$

$$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$$

Nous avons

$$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$$

$$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$$

tandis que

$$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$$

$$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$$

$$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$$

Nous voyons que peut se produire si $(2)$

A) les deux composantes sont , auquel cas nous ne pouvons avoir que . $O(1/n^{2\gamma})$$\gamma = \delta$

B) Mais cela peut aussi être vrai si

$$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$$

Pour que soit compatible avec , nous devons avoir$(3)$$(1)$

$$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$$

Il apparaît donc qu'en principe, il est possible de faire converger le biais plus rapidement que la racine carrée de la variance. Mais nous ne pouvons pas faire converger la racine carrée de la variance à un rythme plus rapide que le biais.