Améliorer l'estimateur minimum

9

Supposons que je n paramètres positifs pour estimer μ1,μ2,...,μn et leur correspondant n estimations non biaisées produites par les estimateurs μ1^,μ2^,...,μn^ , soit E[μ1^]=μ1 , E[μ2^]=μ2 et ainsi de suite.

Je souhaite estimer min(μ1,μ2,...,μn) en utilisant les estimations à la main. Il est clair que l'estimateur naïf min(μ1^,μ2^,...,μn^) est polarisé inférieur tel que

E[min(μ1^,μ2^,...,μn^)]min(μ1,μ2,...,μn)

Supposons que j'ai aussi la matrice de covariance de l'estimateur correspondant Cov(μ1^,μ2^,...,μn^)=Σ à la main. Est-il possible d'obtenir une estimation minimale (ou moins biaisée) du minimum en utilisant les estimations données et la matrice de covariance?

Cagdas Ozgenc
la source
Êtes-vous prêt à utiliser l'approche bayésienne MCMC ou avez-vous besoin d'une formule sous forme fermée?
Martin Modrák
Mais une approche d'échantillonnage simple est OK? (aussi, vous n'avez pas strictement besoin de priors pour l'analyse bayésienne, mais c'est une autre histoire)
Martin Modrák
@ MartinModrák Je n'ai pas d'expérience avec les approches d'échantillonnage. Si je fais du bayésien, je fais habituellement des trucs conjugués simples. Mais si vous pensez que c'est la voie à suivre, j'irai de l'avant et j'apprendrai.
Cagdas Ozgenc
Que savez-vous d'autre sur ces estimations? Connaissez-vous les expressions? Connaissez-vous la distribution des données utilisées pour estimer ces paramètres?
wij
@wij Je peux essayer d'estimer d'autres moments des estimateurs si nécessaire. Je n'ai pas d'expression analytique pour la distribution des estimateurs. La solution ne doit pas dépendre (comme une exigence de la mienne) de la distribution des données elle-même.
Cagdas Ozgenc

Réponses:

4

Je n'ai pas de réponse claire sur l'existence d'un estimateur non biaisé. Cependant, en termes d'erreur d'estimation, l'estimation de est un problème intrinsèquement difficile en général.min(μ1,,μn)

Par exemple, supposons que et μ = ( μ 1 , , μ n ) . Soit θ = min i μ i est la quantité cible et θ est une estimation de θ . Si nous utilisons l'estimateur "naïve" θ = min i ( ˉ Y i )Y1,,YNN(μ,σ2I)μ=(μ1,,μn)θ=miniμiθ^θθ^=mini(Y¯i), puis, laL2erreur d'estimation est supérieure délimitée par E[ θ -θ]2σ2lognYi¯=1Nj=1NYi,jL2 à constante. (Notez que l'erreur d'estimation pour chaqueμiestσ2

E[θ^θ]2σ2lognN
μi ). Bien sûr, si lesμisont éloignés les uns des autres et queσest très petit, l'erreur d'estimation doit être réduite à σ2σ2Nμiσ . Cependant, dans le pire des cas, aucune estimation deθ nefonctionne mieux que l'estimateur naïf. Vous pouvez précisément montrer que inf θ sup μ 1 ,..., μ n E[ θ -θ]2σ2lognσ2Nθ où l'infimum prend le dessus sur tout l'estiamte possible deθsur la base de l'échantillonY1,,YNet le supremum reprend toute la configuration possible desμi.
infθ^supμ1,,μnE[θ^θ]2σ2lognN
θY1,,YNμi

Par conséquent, l'estimateur naïf est minimax optimal jusqu'à constant, et il n'y a pas de meilleure estimation de dans ce sens.θ

JaeHyeok Shin
la source
Les informations supplémentaires fournies ne sont pas du tout utiles? Quelles statistiques supplémentaires peuvent être utiles?
Cagdas Ozgenc
Désolé d'avoir soulevé un point déroutant. Je ne voulais pas dire que les informations supplémentaires (covariance) ne sont pas utiles. Je voulais juste souligner que l'estimation d'un minimum de plusieurs moyens de population est de nature difficile. Les informations de covariance devraient être utiles. Par exemple, dans le cas normal, si nous avons des corrélations parfaites pour toutes les paires possibles, cela signifie que les observations aléatoires proviennent de moyennes différentes + un terme de bruit commun. Dans ce cas, l'estimateur naïf (minimum des moyennes de l'échantillon) est sans biais.
JaeHyeok Shin
3

EDIT: La réponse suivante répond à une question différente de celle qui a été posée - elle est formulée comme si est considéré comme aléatoire, mais ne fonctionne pas lorsque μ est considéré comme fixe, ce qui est probablement ce que le PO avait en tête. Si μ est fixé, je n'ai pas de meilleure réponse que min ( μ 1 , . . . , Μ n )μμμmin(μ^1,...,μ^n)


Si nous pouvons nous traiter considérons que des estimations pour la moyenne et covariance, comme un seul échantillon de la distribution normale à plusieurs variables. Une façon simple d'obtenir une estimation du minimum est alors de dessiner un grand nombre d'échantillons de M V N ( μ , Σ ) , calculer le minimum de chaque échantillon, puis prendre la moyenne de ces minima.(μ1,...,μn)MVN(μ^,Σ)

ΣμMVN(μ^+mλ01+m,1n+mΣ)λ0mμMVN(λ0,m1Σμm0μMVN(μ^,Σ)μ

min(μ)μmjen(μ)m=0,1

μ(μ1,...,μn)

Martin Modrák
la source
E[min(μ1^,μ2^,...,μn^)]min(μ1,μ2,...,μn)
J'ai essayé de modifier la réponse pour expliquer la justification, j'espère que cela aide.
Martin Modrák
min(μ1^,μ2^,...,μn^)μi
μi
1
μmin(μ^)μ