Par la loi (faible / forte) des grands nombres, étant donné certains points d'échantillonnage iid d'une distribution, leur moyenne d'échantillon converge vers la moyenne de distribution en probabilité et en tant que taille d'échantillon va à l'infini.
Lorsque la taille de l'échantillon est fixe, je me demande si l'estimateur LLN est le meilleur estimateur dans un certain sens? Par exemple,
- son attente est la moyenne de distribution, c'est donc un estimateur non biaisé. Sa variance est où est la variance de distribution. Mais est-ce UMVU?
existe-t-il une fonction telle que résoudre le problème de minimisation:
En d'autres termes, est la meilleure fonction de contraste dans le cadre de contraste minimum (cf. Section 2.1 "Heuristique de base de l'estimation" dans " Statistiques mathématiques: idées de base et sujets sélectionnés, Volume 1 " par Bickle et Doksum).
Par exemple, si la distribution est connue / restreinte pour être de la famille des distributions gaussiennes, alors la moyenne de l'échantillon sera l'estimateur MLE de la moyenne de distribution, et MLE appartient au cadre de contraste minimum, et sa fonction de contraste est moins la probabilité logarithmique une fonction.
existe-t-il une fonction telle que résout le problème de minimisation: pour toute distribution de au sein d'une famille de distributions?
En d'autres termes, est la meilleure par rapport à une fonction perdue et à une famille de distributions dans le cadre théorique de décision (cf. Section 1.3 "Le cadre théorique de décision" dans " Statistiques mathématiques: idées de base et sujets choisis, Volume 1 " par Bickle et Doksum).
Notez que ce qui précède sont trois interprétations différentes pour une "meilleure" estimation que j'ai connue jusqu'à présent. Si vous connaissez d'autres interprétations possibles qui peuvent s'appliquer à l'estimateur LLN, n'hésitez pas à le mentionner également.
Réponses:
La réponse à votre deuxième question est oui: la moyenne de l'échantillon est un estimateur de contraste minimum lorsque votre fonction est , lorsque x et u sont des nombres réels, ou , lorsque x et u sont vecteurs de colonne. Cela découle de la théorie des moindres carrés ou du calcul différentiel. ( x - u ) 2 ( x - u ) ′ ( x - u )l0 (x−u)2 (x−u)′(x−u)
Un estimateur de contraste minimum est, dans certaines conditions techniques, à la fois cohérent et asymptotiquement normal. Pour la moyenne de l'échantillon, cela découle déjà du LLN et du théorème de la limite centrale. Je ne sais pas si les estimateurs de contraste minimum sont "optimaux" en aucune façon. Ce qui est bien avec les estimateurs de contraste minimum, c'est que de nombreux estimateurs robustes (par exemple la médiane, les estimateurs de Huber, les quantiles d'échantillonnage) entrent dans cette famille, et nous pouvons conclure qu'ils sont cohérents et asymptotiquement normaux simplement en appliquant le théorème général pour les estimateurs de contraste minimum, donc tant que nous vérifions certaines conditions techniques (bien que souvent cela soit beaucoup plus difficile qu'il n'y paraît).
Une notion d'optimalité que vous ne mentionnez pas dans votre question est l'efficacité qui, en gros, concerne la taille d'un échantillon dont vous avez besoin pour obtenir une estimation d'une certaine qualité. Voir http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_efficiency pour une comparaison de l'efficacité de la moyenne et de la médiane (la moyenne est plus efficace, mais la médiane est plus robuste aux valeurs aberrantes).
Pour la troisième question, sans aucune restriction sur l'ensemble des fonctions f sur lesquelles vous trouvez l'argmin, je ne pense pas que la moyenne de l'échantillon sera optimale. Pour toute distribution P, vous pouvez fixer f comme étant une constante qui ignore les et minimise la perte pour le P. particulier. La moyenne de l'échantillon ne peut pas battre cela.xi
L'optimalité Minimax est une condition plus faible que celle que vous donnez: au lieu de demander que soit la meilleure fonction pour tout d'une classe, vous pouvez demander à avoir les meilleures performances dans le pire des cas. Autrement dit, entre l'argmin et l'attente, mettez un . Optimalité bayésienne est une autre approche: mettre une distribution avant le , et prendre l'attente sur ainsi que l'échantillon de .f∗ P f∗ maxP∈F P∈F P P
la source