Pourquoi avons-nous besoin d'un estimateur pour être cohérent?

Je pense que j'ai déjà compris la définition mathématique d'un estimateur cohérent. Corrige moi si je me trompe:

$W_n$ est un estimateur cohérent pour si$\theta$$\forall \epsilon>0$

Où, $\Theta$ est l'espace paramétrique. Mais je veux comprendre la nécessité pour un estimateur d'être cohérent. Pourquoi un estimateur qui n'est pas cohérent est mauvais? Pourriez-vous me donner quelques exemples?

J'accepte les simulations en R ou en python.

Si l'estimateur n'est pas cohérent, il ne convergera pas vers la vraie valeur de probabilité . En d'autres termes, il y a toujours une probabilité que votre estimateur et votre valeur réelle aient une différence, quel que soit le nombre de points de données dont vous disposez. C'est en fait mauvais, car même si vous collectez une énorme quantité de données, votre estimation aura toujours une probabilité positive d'être différente de de la valeur réelle. En pratique, vous pouvez considérer cette situation comme si vous utilisez un estimateur d'une quantité telle que même enquêter sur toute la population, au lieu d'un petit échantillon, ne vous aidera pas.$\epsilon>0$

Considérons observations de la distribution standard de Cauchy, qui est la même que la distribution t de Student avec 1 degré de liberté. Les queues de cette distribution sont suffisamment lourdes pour n'avoir aucun moyen; la distribution est centrée à sa médiane$n = 10\,000$$\eta = 0.$

Une séquence d'échantillon signifie que n'est pas cohérent pour le centre de la distribution de Cauchy. En gros, la difficulté est que des observations très extrêmes (positives ou négatives) se produisent avec une régularité suffisante pour qu'il n'y ait aucune chance pour que converge vers (Les ne sont pas seulement lents à converger, ils ne La distribution de est à nouveau standard Cauchy [ preuve ].)$A_j = \frac 1j \sum_{i=1}^j X_i$$X_i$$A_j$$\eta = 0.$$A_j$$A_j$

En revanche, à n'importe quelle étape d'un processus d'échantillonnage continu, environ la moitié des observations se de chaque côté de sorte que la séquence des médianes de l'échantillon converge vers$X_i$$\eta,$$H_j$$\eta.$

Ce manque de convergence de et de convergence de est illustré par la simulation suivante.$A_j$$H_j$

set.seed(2019)  # for reproducibility
n = 10000;  x = rt(n, 1);  j = 1:n
a = cumsum(x)/j
h = numeric(n)
for (i in 1:n) {
  h[i] = median(x[1:i])  } 
par(mfrow=c(1,2))
 plot(j,a, type="l", ylim=c(-5,5), lwd=2,
    main="Trace of Sample Mean")
  abline(h=0, col="green2")
  k = j[abs(x)>1000] 
  abline(v=k, col="red", lty="dotted")
 plot(j,h, type="l", ylim=c(-5,5), lwd=2,
     main="Trace of Sample Median")
  abline(h=0, col="green2") 
par(mfrow=c(1,1))

Voici une liste d'étapes auxquelles Vous pouvez voir l'effet de certaines de ces observations extrêmes sur les moyennes mobiles dans le graphique de gauche (sur les lignes verticales en pointillés rouges).$|X_i| > 1000.$

k = j[abs(x)>1000]
rbind(k, round(x[k]))
   [,1] [,2] [,3]  [,4] [,5]  [,6]   [,7]  [,8]
k   291  898 1293  1602 2547  5472   6079  9158
  -5440 2502 5421 -2231 1635 -2644 -10194 -3137

Cohérence dans les estimations importantes: Dans l'échantillonnage d'une population de Cauchy, la moyenne d'échantillon d'un échantillon de observations n'est pas meilleure pour estimer le centre qu'une seule observation. En revanche, la médiane de l'échantillon cohérent converge vers sorte que des échantillons plus grands produisent de meilleures estimations.$n = 10\,000$$\eta$$\eta,$

Un exemple très simple de la raison pour laquelle il est important de penser à la cohérence, qui, je pense, ne retient pas suffisamment l'attention, est celui d'un modèle trop simplifié.

À titre d'exemple théorique, supposons que vous vouliez ajuster un modèle de régression linéaire sur certaines données, dans lesquelles les vrais effets étaient en fait non linéaires. Ensuite, vos prévisions ne peuvent pas être cohérentes pour la vraie moyenne de toutes les combinaisons de covariables, alors qu'une plus flexible peut le faire. En d'autres termes, le modèle simplifié comportera des lacunes qui ne peuvent être surmontées en utilisant davantage de données.

@BruceET a déjà donné une excellente réponse technique, mais je voudrais ajouter un point sur l'interprétation de tout cela.

L'un des concepts fondamentaux de la statistique est qu'à mesure que la taille de notre échantillon augmente, nous pouvons tirer des conclusions plus précises sur notre distribution sous-jacente. Vous pourriez penser que c'est la notion que le fait de prendre beaucoup d'échantillons élimine la gigue aléatoire dans les données, nous obtenons donc une meilleure notion de la structure sous-jacente.

Les exemples de théorèmes dans cette veine sont nombreux, mais le plus connu est la loi des grands nombres, affirmant que si nous avons une famille de variables aléatoires iid and , puis$(X_i)_{i\in\mathbb{N}} \ $$\mathbb{E}[X_1] < \infty$

Maintenant, exiger qu'un estimateur soit cohérent, c'est exiger qu'il suive également cette règle: comme son travail consiste à estimer un paramètre inconnu, nous aimerions qu'il converge vers ce paramètre (lire: estimer ce paramètre arbitrairement bien) comme notre échantillon. la taille tend vers l'infini.

L'équation

n'est rien d'autre que la convergence en probabilité des variables aléatoires vers , ce qui signifie que dans un certain sens , un échantillon plus grand nous rapprochera de plus en plus de la vraie valeur.$W_n$$\theta$

Maintenant, si vous le souhaitez, vous pouvez le regarder à l'inverse: si cette condition échouait, alors même avec une taille d'échantillon infinie, il y aurait un "couloir" de largeur positive autour de et une probabilité non nulle que même avec une taille d'échantillon arbitrairement grande, notre estimateur tombera en dehors de ce couloir. Et cela violerait évidemment l'idée susmentionnée, donc la cohérence est une condition très naturelle pour les estimateurs de vouloir et d'appliquer.$[\theta - \varepsilon, \theta + \varepsilon]$$\theta$