Je suis vraiment surpris que personne ne semble l'avoir déjà demandé ...
Lors de la discussion sur les estimateurs, deux termes fréquemment utilisés sont "cohérent" et "non biaisé". Ma question est simple: quelle est la différence?
Les définitions techniques précises de ces termes sont assez compliquées et il est difficile de comprendre intuitivement ce qu’elles signifient . Je peux imaginer un bon estimateur et un mauvais estimateur, mais j'ai du mal à comprendre comment un estimateur pourrait satisfaire une condition et non l'autre.
unbiased-estimator
estimators
consistency
MathematicalOrchid
la source
la source
Réponses:
Pour définir les deux termes sans utiliser trop de langage technique:
Un estimateur est cohérent si, à mesure que la taille de l'échantillon augmente, les estimations (produites par l'estimateur) "convergent" vers la valeur vraie du paramètre en cours d'estimation. Pour être un peu plus précis - la cohérence signifie que, à mesure que la taille de l'échantillon augmente, la distribution d'échantillonnage de l'estimateur se concentre de plus en plus à la valeur réelle du paramètre.
Un estimateur est non biaisé si, en moyenne, il correspond à la vraie valeur du paramètre. C'est-à-dire que la moyenne de la distribution d'échantillonnage de l'estimateur est égale à la valeur réelle du paramètre.
Les deux ne sont pas équivalents: Unbiasness est une déclaration sur la valeur attendue de la distribution d'échantillonnage de l'estimateur. La cohérence est une déclaration sur "où va la distribution d'échantillonnage de l'estimateur" à mesure que la taille de l'échantillon augmente.
Il est certainement possible qu'une condition soit remplie mais pas l'autre - je donnerai deux exemples. Pour les deux exemples, considérons un exemple provenant d'une population .X1,...,Xn N(μ,σ2)
Non biaisé mais pas cohérent: supposons que vous estimiez . Alors est un estimateur non biaisé de puisque . Cependant, n'est pas cohérent puisque sa distribution ne devient pas plus concentrée autour de mesure que la taille de l'échantillon augmente - c'est toujours !μ X1 μ E(X1)=μ X1 μ N(μ,σ2)
Cohérente mais non impartiale: supposons que vous estimiez . L'estimateur de vraisemblance maximale est où est la moyenne de l'échantillon. C’est un fait que , donc, qui peut être dérivé en utilisant les informations fournies ici . Par conséquent, est biaisé pour toute taille d'échantillon finie. Nous pouvons aussi facilement déduire que ces faits, nous pouvons voir de manière informelle que distribution deσ2
la source
La cohérence d'un estimateur signifie qu'à mesure que la taille de l'échantillon augmente, l'estimation se rapproche de plus en plus de la valeur réelle du paramètre. Unbiasness est une propriété d'échantillon fini qui n'est pas affectée par la taille croissante de l'échantillon. Une estimation est non biaisée si sa valeur attendue est égale à la valeur réelle du paramètre. Ceci sera vrai pour toutes les tailles d'échantillon et sera exact alors que la consistance sera asymptotique et seulement approximativement égale et non exacte.
Dire qu'un estimateur est impartial signifie que si vous prenez plusieurs échantillons de taille et calculez l'estimation à chaque fois que la moyenne de toutes ces estimations serait proche de la valeur réelle du paramètre et se rapprocherait à mesure que le nombre de fois que vous le feriez augmente . La moyenne de l'échantillon est cohérente et non biaisée. L'estimation échantillon de l'écart type est biaisée mais cohérente.n
Mise à jour à la suite de la discussion dans les commentaires avec @cardinal et @Macro: Comme décrit ci-dessous, il existe des cas apparemment pathologiques où la variance n'a pas à aller à 0 pour que l'estimateur soit fortement cohérent et le biais ne doit même pas aller à 0 non plus.
la source
Cohérence: très bien expliqué auparavant [à mesure que la taille de l'échantillon augmente, les estimations (produites par l'estimateur) "convergent" vers la valeur vraie du paramètre en cours d'estimation]
Impartialité: il satisfait aux 1 à 5 hypothèses de la MLR connues sous le nom de théorème de Gauss-Markov
On dit alors que l’estimateur est BLEU (meilleur estimateur linéaire sans biais
la source