Les estimateurs efficaces sans biais dominent-ils stochastiquement par rapport aux autres estimateurs sans biais (médians)?

Description générale

Un estimateur efficace (dont la variance d'échantillon est égale à la borne de Cramér – Rao) maximise-t-il la probabilité d'être proche du vrai paramètre ? $\theta$

Disons que nous comparons la différence ou la différence absolue entre l'estimation et le vrai paramètre

\hat{Δ} = \hat{θ} - θ

$\hat\Delta = \hat \theta - \theta$

La distribution de pour un estimateur efficace est-elle stochastiquement dominante sur la distribution de pour tout autre estimateur sans biais? $\hat\Delta$ $\tilde\Delta$

Motivation

Je pense à cela à cause de la question Estimateur qui est optimale sous toutes les fonctions de perte (évaluation) sensibles où nous pouvons dire que le meilleur estimateur sans biais par rapport à une fonction de perte convexe est également le meilleur estimateur sans biais par rapport à une autre fonction de perte (De Iosif Pinelis, 2015, Une caractérisation des meilleurs estimateurs sans biais. ArXiv preprint arXiv: 1508.07636 ). La dominance stochastique pour être proche du vrai paramètre semble être similaire à moi (c'est une condition suffisante et une affirmation plus forte).

Expressions plus précises

L'énoncé de la question ci-dessus est large, par exemple quel type d'impartialité est considéré et avons-nous la même mesure de distance pour les différences négatives et positives?

Considérons les deux cas suivants pour rendre la question moins large: $^\dagger$

Conjecture 1: Si est un estimateur efficace moyen et sans biais médian. Alors pour tout estimateur moyen et sans biais où et $\hat \theta$ $\tilde \theta$

if x > 0 then P [\hat{Δ} \leq x] \geq P [\tilde{Δ} \leq x] if x < 0 then P [\hat{Δ} \geq x] \geq P [\tilde{Δ} \geq x]

$\text{if $x>0$ then } P[\hat\Delta \leq x] \geq P[\tilde\Delta \leq x] \\ \text{if $x<0$ then } P[\hat\Delta \geq x] \geq P[\tilde\Delta \geq x]$

\hat{Δ} = \hat{θ} - θ

$\hat \Delta = \hat \theta - \theta$

\tilde{Δ} = \tilde{θ} - θ

$\tilde \Delta = \tilde \theta - \theta$

Conjecture 2: Si est un estimateur efficace sans biais moyen. Alors pour tout estimateur sans biais et $\hat \theta$ $\tilde \theta$ $x>0$

P [| \hat{Δ} | \geq X] \leq P [| \tilde{Δ} | \geq X]

$P[\vert \hat\Delta \vert \geq x] \leq P[\vert \tilde\Delta \vert \geq x]$

Les conjectures ci-dessus sont-elles vraies?
Si les propositions sont trop fortes, peut-on les adapter pour que ça marche?

^{$\dagger$ Le second est lié au premier mais supprime la restriction pour la médiane non biaisée (et ensuite nous devons prendre les deux côtés ensemble sinon la proposition serait fausse pour tout estimateur qui a une médiane différente de l'estimateur efficace).}

Exemple, illustration:

Considérons l'estimation de la moyenne de la distribution d'une population (qui est supposée être distribuée normalement) par (1) la médiane de l'échantillon et (2) la moyenne de l'échantillon. $\mu$

Dans le cas d'un échantillon de taille 5, et lorsque la vraie distribution de la population est cela ressemble à $N(0,1)$

Dans l'image, nous voyons que le CDF plié de la moyenne de l'échantillon (qui est un estimateur efficace pour ) est inférieur au CDF plié de la médiane de l'échantillon. La question est de savoir si le CDF plié de la moyenne de l'échantillon est également inférieur au CDF plié de tout autre estimateur sans biais. $\mu$

Alternativement, en utilisant le CDF au lieu des CDF pliés, nous pouvons nous demander si le CDF d'une moyenne maximise la distance de 0,5 en chaque point. Nous savons que

\forall \hat{θ} : | F_{m e une n} (\hat{θ}) - 0,5 | \geq | F_{m e ré je une n} (\hat{θ}) - 0,5 |

$\forall \hat \theta : |F_{mean}(\hat \theta)-0.5| \geq |F_{median}(\hat \theta)-0.5|$

avons-nous également ceci lorsque nous remplaçons pour la distribution de tout autre estimateur moyen et sans biais médian? $F_{median}(\hat \theta)$

mathematical-statistics unbiased-estimator sufficient-statistics stochastic-ordering Sextus Empiricus
la source

Vérifiez le Pitman nearnessmot - clé, pas que je trouve ce critère particulièrement judicieux.

Xi'an

D'après la conjecture, il semblerait plus raisonnable d'utiliser des estimateurs sans biais médians que des estimateurs sans biais moyens. (Les estimateurs impartiaux existent dans peu de contextes et les meilleurs sont biaisés dans encore moins de contextes.)

Xi'an

Le «critère de proximité de Pitman» est en effet intéressant. Sur la base des informations sur wikipedia, je le vois comme "la probabilité que la différence absolue soit plus proche". C'est un peu différent cependant. Ce critère de proximité de Pitman pourrait créer des cas intéressants où certains estimateurs ont en moyenne une différence absolue plus petite mais ne gagnent pas selon ce critère de proximité.

Sextus Empiricus

Le critère que vous proposez est invariant par les transformations monotones bijectives, mais pas de biais moyen, alors que de biais médian l'est. Il est également incroyablement fort en ce que le cdf de

\hat{θ}

$\hat\theta$ doit être au-dessus du cdf de au-dessus de et en dessous du cdf de dessous de , pour toutes les valeurs du paramètre .

\tilde{θ}

$\tilde\theta$

θ

$\theta$

\tilde{θ}

$\tilde\theta$

θ

$\theta$

θ

$\theta$

Xi'an

@ Xi'an J'ai ajouté un exemple visuel et maintenant je reçois votre commentaire sur le biais médian par rapport au biais moyen. J'ai ajusté la question (même si elle diffère de mon idée initiale concernant la question liée qui nécessite maintenant des ajustements plus complexes).

Sextus Empiricus

Voici une expérience dans un cas non standard, le problème de localisation de Cauchy, où non standard signifie qu'il n'y a pas d'estimateur sans biais uniformément meilleur. Considérons un échantillon d'une distribution de Cauchy et les quatre estimateurs invariants suivants de : $(X_1,\ldots,X_N)$ $\mathcal{C}(\mu,1)$ $\mu$

$\hat{\mu}_1= \text{median}(X_1,\ldots,X_N)=X_{(N/2)}$
$\hat{\mu}_2= \text{mean}(X_{(N/4)},\ldots,X_{(3N/4)})=\frac{2}{N}(X_{(N/4)}+\ldots+X_{(3N/4)})$
$\hat{\mu}_3=\mu^\text{MLE}$ qui est efficace
$\hat{\mu}_4=\hat{\mu}_1+\frac{2}{N}\frac{\partial \ell}{\partial \mu}(\hat{\mu}_1)$

La comparaison des cdfs des quatre estimateurs conduit à cette image, où les cdfs de $\hat{\mu}_3$ (or) et (tomate) sont comparables et améliorent (steelblue), s'améliorant lui-même sur (sienna). $\hat{\mu}_4$ $\hat{\mu}_1$ $\hat{\mu}_2$

Une représentation des différences par rapport au cdf empirique du MLE le rend plus clair:

Voici le code R correspondant:

T=1e4
N=11
mlechy=function(x){
  return(optimize(function(theta) -sum(dcauchy(x, 
    location=theta, log=TRUE)),  c(-100,100))$minimum)
}
est=matrix(0,T,4)
for (t in 1:T){
cauc=sort(rcauchy(N))
est[t,1]=median(cauc)
est[t,2]=mean(cauc[4:8])
est[t,3]=mlechy(cauc)
est[t,4]=est[t,1]+(4/N)*sum((cauc-est[t,1])/(1+(cauc-est[t,1])^2))
}

plot(ecdf(est[,1]),col="steelblue",cex=.4,xlim=c(-1,1),main="",ylab="F(x)")
plot(ecdf(est[,2]),add=TRUE,col="sienna",cex=.4)
plot(ecdf(est[,3]),add=TRUE,col="gold",cex=.4)
plot(ecdf(est[,4]),add=TRUE,col="tomato",cex=.4)

Xi'an
la source

La courbe d'or (la différence du MLE empirique avec elle-même) ne devrait-elle pas être nulle dans le graphique des différences.

Sextus Empiricus

Mon mauvais, j'ai changé les codes de couleur: la tomate est pour la différence avec le quatrième, l'or pour la différence avec Pitman, la terre de Sienne pour la différence avec la moyenne coupée et le bleu pour la différence avec la médiane.

Xi'an

Les estimateurs efficaces sans biais dominent-ils stochastiquement par rapport aux autres estimateurs sans biais (médians)?

Description générale

Motivation

Expressions plus précises

Exemple, illustration:

Réponses: