Comment expliquer ce qu'est un estimateur non biaisé à un profane?

On suppose que θ est un estimateur non biaisé pour θ . Alors bien sûr, E [ θ | θ ] = θ .$\hat{\theta}$$\theta$$\mathbb{E}[\hat{\theta} \mid \theta] = \theta$

Comment expliquer cela à un profane? Dans le passé, ce que je l' ai dit est si vous en moyenne un groupe de valeurs de θ , comme la taille de l' échantillon est grande, plus vous obtenez une meilleure approximation de θ .$\hat{\theta}$$\theta$

Alors, comment expliquer ce qu'est un estimateur non biaisé à un profane?

Techniquement, ce que vous décrivez lorsque vous dites que votre estimateur se rapproche de la valeur réelle à mesure que la taille de l'échantillon augmente est (comme d'autres l'ont mentionné) la cohérence ou la convergence des estimateurs statistiques. Cette convergence peut être soit une convergence de probabilité, qui dit que pour chaque , ou presque convergence certaine qui dit que . Remarquez comment la limite est réellement à l' intérieurε > 0 P ( lim n → ∞ | & thetav n - & thetav | > ε ) = $\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| > \epsilon) = 0$$\epsilon > 0$$P(\lim_{n \to \infty} |\hat{\theta}_n - \theta| > \epsilon) = 0$la probabilité dans le deuxième cas. Il s'avère que cette dernière forme de convergence est plus forte que l'autre, mais les deux signifient essentiellement la même chose, c'est-à-dire que l'estimation tend à se rapprocher de plus en plus de la chose que nous estimons lorsque nous recueillons plus d'échantillons.

Un point subtil ici est que même lorsque soit en probabilité ou presque sûrement, il n'est pas vrai en général que , donc la cohérence n'implique pas l'impartialité asymptotique comme vous le suggérez. Vous devez être prudent lorsque vous passez d'une séquence de variables aléatoires (qui sont des fonctions) à une séquence d'attentes (qui sont des intégrales).limn→∞E( θ n)=$\hat{\theta}_n \to \theta$$\lim_{n \to \infty} \text{E}(\hat{\theta}_n) = \theta$

Tous les aspects techniques mis à part, impartial signifie uniquement que . Donc, quand vous l'expliquez à quelqu'un, dites simplement que si l'expérience était répétée plusieurs fois dans des conditions identiques, la valeur moyenne de l'estimation serait proche de la vraie valeur.$\text{E}(\hat{\theta}_n) = \theta$

Je ne sais pas si vous confondez cohérence et impartialité.

Cohérence: plus la taille de l'échantillon est grande, plus la variance de l'estimateur est faible.

• Dépend de la taille de l'échantillon

Impartialité: la valeur attendue de l'estimateur est égale à la valeur réelle des paramètres

• Ne dépend pas de la taille de l'échantillon

Alors ta phrase

si vous faites la moyenne d'un tas de valeurs de , à mesure que la taille de l'échantillon augmente, vous obtenez une meilleure approximation de .$\hat\theta$$\theta$

N'est pas correcte. Même si la taille de l'échantillon devient infinie, un estimateur non biaisé restera un estimateur non biaisé. Par exemple, si vous estimez la moyenne comme "moyenne +1", vous pouvez ajouter un milliard d'observations à votre échantillon et votre estimateur ne vous donnera toujours pas la vraie valeur.

Vous trouverez ici une discussion plus approfondie sur la différence entre cohérence et impartialité.

Quelle est la différence entre un estimateur cohérent et un estimateur sans biais?

@Ferdi a déjà fourni une réponse claire à votre question, mais rendons-la un peu plus formelle.

Laissez être votre échantillon de variables aléatoires indépendantes et identiquement distribuées de la distribution . Vous souhaitez estimer une quantité inconnue mais fixe , en utilisant l' estimateur étant une fonction de . Puisque est une fonction de variables aléatoires, estimez$X_1,\dots,X_n$$F$$\theta$g X 1 , … , X n g $g$$X_1,\dots,X_n$$g$

est également une variable aléatoire. Nous définissons le biais comme

l'estimateur est sans biais lorsque .$\mathbb{E}_\theta(\hat\theta_n) = \theta$

En termes simples: nous avons affaire à des variables aléatoires , donc à moins qu'elles ne dégénèrent , si nous prenons des échantillons différents, nous pouvons nous attendre à observer des données différentes et donc des estimations différentes. Néanmoins, nous pourrions nous attendre à ce que sur différents échantillons "en moyenne" estimés serait "correct" si l'estimateur n'est pas biaisé. Ce ne serait donc pas toujours vrai, mais "en moyenne", ce serait bien. Elle ne peut tout simplement pas toujours être «correcte» en raison du caractère aléatoire associé aux données.$\hat\theta_n$

Comme d'autres l'ont déjà noté, le fait que votre estimation se "rapproche" de la quantité estimée à mesure que votre échantillon croît, c'est-à-dire qu'en converge en probabilité

a à voir avec la cohérence des estimateurs , non avec la non-impartialité. L'impartialité seule ne nous dit rien sur la taille de l'échantillon et sa relation avec les estimations obtenues. De plus, les estimateurs non biaisés ne sont pas toujours disponibles et pas toujours préférables aux estimés biaisés. Par exemple, après avoir considéré le compromis biais-variance, vous pouvez envisager d'utiliser un estimateur avec un biais plus important, mais une variance plus petite - donc "en moyenne", il serait plus éloigné de la valeur réelle, mais plus souvent (variance plus petite), les estimations seraient être plus proche de la valeur réelle, puis en cas d'estimateur sans biais.

Vous devez d'abord distinguer le biais d'incompréhension du biais statistique, en particulier pour un profane.

Le choix de dire utiliser la médiane, la moyenne ou le mode comme estimateur pour une moyenne de la population , contient souvent un biais de croyance en théorie politique, religieuse ou scientifique. Le calcul de l'estimateur qui constitue la meilleure forme de moyenne est d'un type différent de l'arithmétique qui affecte le biais statistique.

Une fois que vous avez dépassé le biais de sélection de la méthode, vous pouvez alors traiter les biais potentiels dans la méthode d'estimation. Vous devez d'abord choisir une méthode qui peut avoir un biais et un mécanisme qui mène facilement à ce biais.

Il peut être plus facile d'utiliser un point de vue diviser un point de vue où il devient évident à mesure que la taille de l'échantillon diminue, l'estimation devient clairement biaisée. Par exemple, le facteur n-1 (vs le facteur «n») dans les estimateurs de l'écart d'échantillonnage devient évident lorsque n passe de 3 à 2 à 1!

Tout dépend de la façon dont la personne est «laïque».