Pouvez-vous fournir un exemple d'estimateur MLE de la moyenne biaisée?
Je ne cherche pas d'exemple qui casse les estimateurs MLE en général en violant les conditions de régularité.
Tous les exemples que je peux voir sur Internet se réfèrent à la variance, et je n'arrive pas à trouver quoi que ce soit lié à la moyenne.
ÉDITER
@MichaelHardy a fourni un exemple où nous obtenons une estimation biaisée de la moyenne de distribution uniforme en utilisant MLE sous un certain modèle proposé.
pourtant
https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint
suggère que le MLE est un estimateur sans biais minimal uniforme de la moyenne, clairement sous un autre modèle proposé.
À ce stade, il n'est pas encore très clair pour moi ce que l'on entend par estimation MLE si elle est très dépendante du modèle, par opposition à un estimateur moyen de l'échantillon qui est neutre au modèle. À la fin, je suis intéressé à estimer quelque chose sur la population et je ne me soucie pas vraiment de l'estimation d'un paramètre d'un modèle hypothétique.
EDIT 2
Comme @ChristophHanck l'a montré, le modèle avec des informations supplémentaires a introduit un biais mais n'a pas réussi à réduire le MSE.
Nous avons également des résultats supplémentaires:
http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (diapositive 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (diapositive 5)
"S'il existe un estimateur sans biais le plus efficace ˆθ de θ (c.-à-d. ˆΘ est sans biais et sa variance est égale au CRLB), alors la méthode d'estimation du maximum de vraisemblance le produira."
"De plus, s'il existe un estimateur efficace, c'est l'estimateur ML."
Étant donné que le MLE avec les paramètres du modèle libre est non biaisé et efficace, est-ce par définition «l'estimateur du maximum de vraisemblance?
EDIT 3
@AlecosPapadopoulos a un exemple avec la distribution Half Normal sur le forum mathématique.
/math/799954/can-the-maximum-likelihood-estimator-be-unbias-and-fail-to-achieve-cramer-rao
Il n'ancre aucun de ses paramètres comme dans le cas uniforme. Je dirais que ça règle, même s'il n'a pas démontré le biais de l'estimateur moyen.
la source
Réponses:
Christoph Hanck n'a pas publié les détails de son exemple proposé. Je suppose qu'il signifie la distribution uniforme sur l'intervalle[0,θ], basée sur un échantillon iid X1,…,Xn de taille supérieure à n=1.
La moyenne estθ/2 .
Le MLE de la moyenne estmax{X1,…,Xn}/2.
Cela est biaisé puisque donc E ( max / 2 ) < θPr(max<θ)=1, E(max/2)<θ/2.
PS: Nous devrions peut - être noter que le meilleur estimateur sans biais de la moyenne n'est pas la moyenne de l'échantillon, mais plutôt n +θ/2 La moyenne de l'échantillon est un estimateur moche deθ/2parce que pour certains échantillons, la moyenne de l'échantillon est inférieure à
fin de PS
Je soupçonne que la distribution de Pareto est un autre cas du genre. Voici la mesure de probabilité: La valeur attendue estα
Je n'ai pas calculé la valeur attendue du MLE pour la moyenne, donc je ne sais pas quel est son biais.
la source
Voici un exemple que je pense que certains peuvent trouver surprenant:
En régression logistique, pour toute taille d'échantillon fini avec des résultats non déterministes (c.-à-d. ), tout coefficient de régression estimé n'est pas seulement biaisé, la moyenne du coefficient de régression n'est en fait pas définie.0<pi<1
En effet, pour toute taille d'échantillon finie, il existe une probabilité positive (bien que très faible si le nombre d'échantillons est important par rapport au nombre de paramètres de régression) d'obtenir une séparation parfaite des résultats. Lorsque cela se produit, les coefficients de régression estimés seront soit soit−∞ . Avoir une probabilité positive d'être - ∞ ou ∞∞ −∞ ∞ implique la valeur attendue est indéfinie.
Pour en savoir plus sur cette question particulière, voir l'effet Hauck-Donner .
la source
Bien que @MichaelHardy ait fait le point, voici un argument plus détaillé pour expliquer pourquoi le MLE du maximum (et donc, celui de la moyenne , par invariance) n'est pas sans biais, bien qu'il soit dans un modèle différent (voir la modification ci-dessous).θ/2
Nous estimons la borne supérieure de la distribution uniforme . Ici, y ( n ) est le MLE, pour un échantillon aléatoire y . Nous montrons que y ( n ) n'est pas sans biais. Son cdf est F y ( n ) (U[0,θ] y(n) y y(n)
Ainsi, sa densité est
fy(n)(x)={n
EDIT: Il est en effet vrai que (voir la discussion dans les commentaires) le MLE est sans biais pour la moyenne dans le cas où la borne inférieure et la borne supérieure b sont inconnues. Ensuite, le minimum Y ( 1 ) est le MLE pour a , avec (détails omis) la valeur attendue E ( Y ( 1 ) ) = n a + ba b Y(1) a
tandis que
E(Y(n))=nb+a
EDIT 2: To elaborate on Henry's point, here is a little simulation for the MSE of the estimators of the mean, showing that while the MLE if we do not know the lower bound is zero is unbiased, the MSEs for the two variants are identical, suggesting that the estimator which incorporates knowledge of the lower bound reduces variability.
la source
Completing here the omission in my answer over at math.se referenced by the OP,
assume that we have an i.i.d. sample of sizen of random variables following the Half Normal distribution. The density and moments of this distribution are
The log-likelihood of the sample is
The first derivative with respect tov is
so it is a method of moments estimator. It is unbiased since,
But, the resulting estimator for the mean is downward biased due to Jensen's inequality
la source
The famous Neyman Scott problem has an inconsistent MLE in that it never even converges to the right thing. Motivates the use of conditional likelihood.
Take(Xi,Yi)∼N(μi,σ2) . The MLE of μi is (Xi+Yi)/2 and of σ2 is σ^2=∑ni=11ns2i with s2i=(Xi−μ^i)2/2+(Yi−μ^i)2/2=(Xi−Yi)2/4 which has expected value σ2/4 and so biased by a factor of 2.
la source
There is an infinite range of examples for this phenomenon since
la source