Si le retrait est appliqué de manière intelligente, cela fonctionne-t-il toujours mieux pour des estimateurs plus efficaces?

Supposons que j'ai deux estimateurs et qui sont des estimateurs cohérents du même paramètre et tels que avec au sens psd. Ainsi, asymptotiquement est plus efficace que . Ces deux estimateurs sont basés sur différentes fonctions de perte. $\widehat{\beta}_1$ $\widehat{\beta}_2$ $\beta_0$

\sqrt{n} ({\hat{β}}_{1} - β_{0}) \overset{d}{\to} N (0, V_{1}), \sqrt{n} ({\hat{β}}_{2} - β_{0}) \overset{d}{\to} N (0, V_{2})

$\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)$

V_{1} \leq V_{2}

$V_1 \leq V_2$

{\hat{β}}_{1}

$\widehat{\beta}_1$

{\hat{β}}_{2}

$\widehat{\beta}_2$

Maintenant, je veux chercher des techniques de retrait pour améliorer les propriétés des échantillons finis de mes estimateurs.

Supposons que j'ai trouvé une technique de rétrécissement qui améliore l'estimateur $\widehat{\beta}_2$ dans un échantillon fini et me donne la valeur de MSE égale à $\widehat{\gamma}_2$ . Cela signifie-t-il que je peux trouver une technique de retrait appropriée à appliquer à $\widehat{\beta}_1$ qui ne me donnera pas le MSE supérieur à $\widehat{\gamma}_2$ ?

En d'autres termes, si le retrait est appliqué intelligemment, cela fonctionne-t-il toujours mieux pour des estimateurs plus efficaces?

regression ridge-regression shrinkage penalized Alik
la source

Réponses:

Permettez-moi de suggérer un contre-exemple certes légèrement ennuyeux. Supposons que est non seulement plus efficace asymptotiquement que , mais atteint également la limite inférieure de Cramer Rao. Une technique de rétrécissement intelligente pour serait: avec . La variance asymptotique de est où la dernière égalité utilise le lemme dans l'article de Hausman . On a $\hat{\beta}_1$ $\hat{\beta}_2$ $\hat{\beta}_2$

{\hat{β}}_{2}^{*} = w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}

$\hat{\beta}_2^\ast = w \hat{\beta}_2 + (1 - w) \hat{\beta}_1$

w \in (0, 1)

$w\in(0,1)$

{\hat{β}}_{2}^{*}

$\hat{\beta}_2^\ast$

V^{*} = A v a r (w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}) = A v a r (w ({\hat{β}}_{2} - {\hat{β}}_{1}) + {\hat{β}}_{1}) = V_{1} + w^{2} (V_{2} - V_{1})

$V^\ast = \mathbb{Avar}(w \hat{\beta}_2 + (1 - w) \hat{\beta}_1) = \mathbb{Avar}(w (\hat{\beta}_2 - \hat{\beta}_1) + \hat{\beta}_1 ) = V_1 + w^2 (V_2 - V_1)$

V_{2} - V^{*} = V_{2} (1 - w^{2}) - V_{1} (1 - w^{2}) \geq 0

$V_2 - V^\ast = V_2(1-w^2) - V_1(1-w^2) \geq 0$ donc il y a une amélioration du risque asymptotique (il n'y a pas de termes de biais). Nous avons donc trouvé une technique de rétrécissement qui donne des améliorations asymptotiques (et donc, espérons-le, fini) sur . Pourtant, il n'y a pas d'estimateur de rétrécissement similaire qui découle de cette procédure.

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}^{*}

$\hat{\beta}_1^\ast$

Le point ici est bien sûr que le retrait se fait vers l'estimateur efficace et n'est donc pas applicable à l'estimateur efficace lui-même. Cela semble assez évident à un niveau élevé, mais je suppose que dans un exemple spécifique, ce n'est pas si évident ( MLE et l'estimateur de la méthode des moments pour la distribution uniforme peuvent être un exemple?).

Matthias Schmidtblaicher
la source

Merci pour l'exemple intéressant! (+1) Cependant, il n'est pas clair pour moi que cela devrait être considéré comme un contre-exemple: c'est à la fois asymptotique et ne montre pas que ne peut pas être amélioré pour avoir le même risque ou moins. (En fait, votre a, au mieux, automatiquement le même risque que .) Pour fournir un contre-exemple, le risque d'un estimateur modifié devra être moins que le risque de , et il n'est pas clair que cela soit possible avec ce schéma.

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

user795305

Merci et point (s) pris. Permettez-moi cependant de souligner que nulle part dans la question, il n'a été spécifié que le MSE du modifié devrait être inférieur à celui du . Ainsi, est une technique de retrait valide dans ce contexte. Mais je suis d'accord que ce n'est qu'une réponse partielle et j'ai hâte de voir ce que les autres auront à dire sur cette question.

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}

$\hat{\beta}_1$

{\hat{β}}_{2}^{⋆}

$\hat{\beta}^\star_2$

Matthias Schmidtblaicher

Dans le paragraphe qui commence "Supposons que j'ai trouvé ...", le PO semble le préciser. Suis-je incompréhensible? Dans ce qui suit, les étoiles désignent les estimateurs modifiés de sorte que pour certaines fonctions (peut-être de rétrécissement) . Supposons que nous trouvons afin que le . Dans le paragraphe référencé, OP demande si nous pouvons trouver des afin que le .

{\hat{β}}_{j}^{*} = f_{j} ({\hat{β}}_{j})

$\hat\beta_j^* = f_j(\hat\beta_j)$

f_{j}

$f_j$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

r i s k ({\hat{β}}_{2}) \geq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_2) \ge risk(\hat\beta_2^*)$

f_{1}

$f_1$

r i s k ({\hat{β}}_{1}^{*}) \leq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_1^*) \le risk(\hat\beta_2^*)$

user795305

Je vois. Si telle est la question, est simplement l'identité et la réponse est affirmative dans l'exemple. J'ai lu la question comme "Si nous pouvons trouver une fonction pour que le , existe-t-il existe-t-il un pour que le ? "

f_{1}

$f_1$

f (β, x)

$f(\beta, x)$

r i s k (f ({\hat{β}}_{2}, x)) < r i s k ({\hat{β}}_{2})

$risk(f(\hat{\beta}_2,x)) < risk(\hat{\beta}_2)$

g (β, x)

$g(\beta, x)$

r i s k (g ({\hat{β}}_{1}, x)) < r i s k ({\hat{β}}_{1})

$risk(g(\hat{\beta}_1,x)) < risk(\hat{\beta}_1)$

Matthias Schmidtblaicher

merci d'avoir partagé ces crédits, même si je n'ai pas vraiment répondu à votre question ...

Matthias Schmidtblaicher

-2

C'est une question intéressante où je veux d'abord souligner quelques points saillants.

Deux estimateurs sont cohérents
$\hat{\beta}_1$ est plus efficace que car il produit moins de variation $\hat\beta_2$
Les fonctions de perte ne sont pas les mêmes
une méthode de rétrécissement est appliquée à une autre afin de réduire la variation qui, en soi, finit par être un meilleur estimateur
Question : En d'autres termes, si le retrait est appliqué intelligemment, cela fonctionne- t-il toujours mieux pour des estimateurs plus efficaces?

Fondamentalement, il est possible d'améliorer un estimateur dans un certain cadre, comme une classe d'estimateurs sans biais. Cependant, comme vous l'avez souligné, différentes fonctions de perte rendent la situation difficile car une fonction de perte peut minimiser la perte quadratique et l'autre minimise l'entropie. De plus, l'utilisation du mot «toujours» est très délicate car si un estimateur est le meilleur de la classe, vous ne pouvez pas prétendre à un meilleur estimateur, logiquement parlant.

Pour un exemple simple (dans le même cadre), supposons deux estimateurs, à savoir un Bridge (régression pénalisée avec norme ) et Lasso (première norme pénalité vraisemblable) et un ensemble clairsemé de paramètres à savoir , un modèle linéaire , normalité du terme d'erreur, , connu , fonction de perte quadratique (erreurs des moindres carrés) et indépendance des covariables en . Soit pour pour le premier estimateur et pour les seconds estimateurs. Ensuite, vous pouvez améliorer les estimateurs en choisissant $l_p$ $\beta$ $y=x\beta+e$ $e\sim N(0,\sigma^2<\infty)$ $\sigma$ $x$ $l_p$ $p=3$ $p=2$ $p\rightarrow 1$ qui finit par un meilleur estimateur avec une variance plus faible. Dans cet exemple, il y a une chance d'améliorer l'estimateur.

Donc, ma réponse à votre question est oui, étant donné que vous supposez la même famille d'estimateurs et la même fonction de perte ainsi que des hypothèses.

TPArrow
la source

p \to 1

$p \to 1$

p = 3

$p=3$

p = 2

$p=2$

ℓ_{p}

$\ell_p$

l_{p}

$l_p$

l_{1}

$l_1$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

ℓ_{p}

$\ell_p$

{\hat{α}}_{j}^{p} = \arg min_{α} ‖ α - {\hat{β}}_{j} ‖_{2}^{2} + λ ‖ α ‖_{p}

$\hat\alpha^p_j = \arg\min_\alpha \|\alpha-\hat\beta_j\|_2^2 + \lambda \|\alpha\|_p$

j \in {1, 2}

$j \in \{1,2\}$

p = 2, 3

$p=2,3$

merci @Ben, je pense que nous n'avons pas de consensus sur la définition du retrait. Vous le prenez comme un post-processus mais moi comme un traitement en ligne. Je pense que nous avons tous les deux raison, car la question ne tient pas compte du type de retrait. PS: Je suppose que ce que vous entendez par rétrécissement est comme un seuil strict.

TPArrow

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$