Les estimateurs incohérents sont-ils toujours préférables?

La cohérence est évidemment un estimateur de propriété naturel et important, mais y a-t-il des situations où il peut être préférable d'utiliser un estimateur incohérent plutôt que cohérent?

Plus précisément, existe-t-il des exemples d'estimateur incohérent qui surpasse un estimateur cohérent raisonnable pour tout fini (par rapport à une fonction de perte appropriée)? $n$

estimation consistency MånsT
la source

Il existe un compromis intéressant dans les performances entre la cohérence de la sélection du modèle et la cohérence des paramètres dans les problèmes d'estimation utilisant le lasso et ses (nombreuses!) Variantes. Ceci est détaillé, par exemple, dans le texte récent de Bühlmann et van der Geer.

Cardinal

L'argument de ma réponse, maintenant supprimé, ne serait-il pas encore valable? À savoir: dans de petits échantillons, il est préférable d'avoir un estimateur sans biais avec une faible variance. Ou peut-on montrer qu'un estimateur cohérent a toujours une variance plus faible que tout autre estimateur sans biais?

Bob Jansen

Peut-être, @Bootvis! Avez-vous un exemple d'estimateur incohérent avec un MSE faible?

MånsT

@Bootvis: Si vous regardez les nombreux commentaires sur une réponse à une question récente concernant la cohérence par rapport à la non-impartialité, vous verrez qu'un estimateur cohérent peut avoir un comportement arbitrairement sauvage de la variance et du biais (même, simultanément!) . Cela devrait lever tout doute concernant votre commentaire.

Cardinal

Je pensais l'avoir tiré de l'un des deux livres, mais apparemment je me trompais aussi! L'exemple est introuvable. @cardinal: Cela semble intéressant, allez le vérifier

Bob Jansen

Cette réponse décrit un problème réaliste où un estimateur cohérent naturel est dominé (surperformé pour toutes les valeurs de paramètres possibles pour toutes les tailles d'échantillon) par un estimateur incohérent. Elle est motivée par l'idée que la cohérence est la mieux adaptée aux pertes quadratiques, donc l'utilisation d'une perte s'écartant fortement de celle-ci (comme une perte asymétrique) devrait rendre la cohérence presque inutile dans l'évaluation des performances des estimateurs.

Supposons que votre client souhaite estimer la moyenne d'une variable (supposée avoir une distribution symétrique) à partir d'un échantillon iid , mais ils sont opposés à (a) la sous-estimer ou (b) à surestimer fortement il. $(x_1, \ldots, x_n)$

Pour voir comment cela pourrait fonctionner, adoptons une fonction de perte simple, sachant qu'en pratique la perte peut différer de celle-ci quantitativement (mais pas qualitativement). Choisissez des unités de mesure de sorte que soit la plus grande surestimation tolérable et définissez la perte d'une estimation lorsque la moyenne vraie est égale à chaque fois que et égale à sinon. $1$ $t$ $\mu$ $0$ $\mu \le t\le \mu+1$ $1$

Les calculs sont particulièrement simples pour une famille de distributions normales avec moyenne et variance , pour alors la moyenne de l'échantillon $\mu$ $\sigma^2 \gt 0$ a unedistributionNormale. La moyenne de l'échantillon est un estimateur cohérent de, comme cela est bien connu (et évident). L' écriturepour la CDF normale standard, la perte attendue de la moyenne deéchantillon est égal $\bar{x}=\frac{1}{n}\sum_i x_i$ $(\mu, \sigma^2/n)$ $\mu$ $\Phi$ :provient de la probabilité50% que la moyenne échantillon sousestimer la moyenne vraie et $1/2 + \Phi(-\sqrt{n}/\sigma)$ $1/2$ provient de la possibilité de surestimer la vraie moyenne de plus de. $\Phi(-\sqrt{n}/\sigma)$ $1$

Pertes

La perte attendue de est égale à la zone bleue sous ce PDF normal standard. La zone rouge indique la perte attendue de l'estimateur alternatif ci-dessous. Ils diffèrent en remplaçant la zone bleue continue entre $\bar{x}$ etpar la plus petite zone rouge solide entre $-\sqrt{n}/(2\sigma)$ $0$ et $\sqrt{n}/(2\sigma)$ . Cette différence augmente à mesure queaugmente. $\sqrt{n}/\sigma$ $n$

Un autre estimateur donné par a une perte prévue de $\bar{x}+1/2$ . La symétrie et l'unimodalité des distributions normales impliquent que sa perte attendue est toujours meilleure que celle de la moyenne de l'échantillon. (Cela rend l'échantillon moyenirrecevablepour cette perte.)effet, la perte attendue de la moyenne deéchantillon a une limite inférieure dealors que des alternatives à convergecommecroît. Cependant, l'alternative est manifestement incompatible: quecroît, il converge en probabilité. $2\Phi(-\sqrt{n}/(2\sigma))$ $1/2$ $0$ $n$ $n$ $\mu+1/2 \ne \mu$

Fonctions de perte

$\bar{x}$ $\bar{x}+1/2$ $n$

whuber
la source

L_{2}

$L_2$

L_{2}

$L_2$

@Macro La pensée est quelque peu indirecte et n'a pas vocation à être rigoureuse mais je pense qu'elle est naturelle: la perte quadratique implique de minimiser la variance qui (via Chebyshev) conduit à la convergence des probabilités. D'où, une heuristique pour trouver un contre-exemple devrait se concentrer sur les pertes qui sont si loin d'être quadratiques que de telles manipulations sont infructueuses.

whuber

1 / 2

$1/2$

0

$0$

n

$n$

@Michael OK, merci de m'expliquer cela. Dans ce contexte, avec une perte non quadratique, un «avantage» n'est pas exprimé en termes de biais. On pourrait critiquer cette fonction de perte, mais je ne veux pas la rejeter catégoriquement: elle modélise des situations où, par exemple, les données sont des mesures d'un article fabriqué selon certaines tolérances et ce serait désastreux (comme dans la défaillance du joint torique de la navette ou faillite commerciale désastreuse) pour que le véritable moyen de sortir de ces tolérances.

whuber

(+1) Excellente réponse, @whuber! J'aime particulièrement que cela ne semble pas trop pathologique - je peux penser à de nombreuses situations où ce type de perte serait applicable.

MånsT

Les estimateurs incohérents sont-ils toujours préférables?

Réponses: