Contre-exemple de la condition suffisante requise pour la cohérence

Nous savons que si un estimateur est un estimateur sans biais de thêta et si sa variance tend vers 0 alors que n tend vers l'infini, alors c'est un estimateur cohérent pour thêta. Mais c'est une condition suffisante et non nécessaire. Je cherche un exemple d'estimateur cohérent mais dont la variance n'a pas tendance à 0 car n tend vers l'infini. Aucune suggestion?

Heureux de voir que ma réponse (incorrecte) en a généré deux de plus et a transformé une question morte en un fil de questions-réponses animé. Il est donc temps d'essayer d'offrir quelque chose de valable, je suppose) .

Considérons un processus stochastique stationnaire à covariance corrélée en série , avec la moyenne et les autocovariances . Supposons que (cela limite la "force" de l'autocorrélation car deux réalisations du processus sont de plus en plus éloignées dans le temps). Ensuite, nous avons cela$\{y_t\},\;\; t=1,...,n$$\mu$$\{\gamma_j\},\;\; \gamma_j\equiv \operatorname{Cov}(y_t,y_{t-j})$$\lim_{j\rightarrow \infty}\gamma_j= 0$

$$\bar y_n = \frac 1n\sum_{t=1}^ny_t\rightarrow_{m.s} \mu,\;\; \text{as}\; n\rightarrow \infty$$

c'est-à-dire que la moyenne de l'échantillon converge en carré moyen vers la vraie moyenne du processus, et donc elle converge également en probabilité: c'est donc un estimateur cohérent de .$\mu$

On peut trouver que la variance de est$\bar y_n$

$$\operatorname{Var}(\bar y_n) = \frac 1n \gamma_0+\frac 2n \sum_{j=1}^{n-1}\left(1-\frac {j}{n}\right)\gamma_j$$

qui est facilement montré pour aller à zéro lorsque va à l'infini.$n$

Maintenant, en utilisant le commentaire de Cardinal, randomisons davantage notre estimateur de la moyenne, en considérant l'estimateur

$$\tilde \mu_n = \bar y_n + z_n$$

où est un processus stochastique de variables aléatoires indépendantes qui sont également indépendantes des , en prenant la valeur (paramètre à spécifier par nous) avec la probabilité , la valeur avec probabilité , et zéro sinon. Donc a la valeur et la variance attendues$\{z_t\}$$y_i$$at$$a>0$$1/t^2$$-at$$1/t^2$$\{z_t\}$

$$E(z_t) = at\frac 1{t^2} -at\frac 1{t^2} + 0\cdot \left (1-\frac 2{t^2}\right)= 0,\;\;\operatorname{Var}(z_t) = 2a^2$$

La valeur attendue et la variance de l'estimateur sont donc

$$E(\tilde \mu) = \mu,\;\;\operatorname{Var}(\tilde \mu) = \operatorname{Var}(\bar y_n) + 2a^2$$

Considérons la distribution de probabilité de, :prend la valeur avec probabilité et la valeur avec probabilité . Donc$|z_n|$$P\left(|z_n| \le \epsilon\right),\;\epsilon>0$$|z_n|$$0$$(1-2/n^2)$$an$$2/n^2$

$$P\left(|z_n| <\epsilon\right) \ge 1-2/n^2 = \lim_{n\rightarrow \infty}P\left(|z_n| < \epsilon\right) \ge 1 = 1$$

ce qui signifie que converge en probabilité vers (alors que sa variance reste finie). Donc$z_n$$0$

$$\operatorname{plim}\tilde \mu_n = \operatorname{plim}\bar y_n+\operatorname{plim} z_n = \mu$$

cet estimateur randomisé de la valeur moyenne du processus -stochastique reste donc cohérent. Mais sa variance ne va pas à zéro car va à l'infini, ni à l'infini. $y$$n$

Clôture, pourquoi toute cette élaboration apparemment inutile avec un processus stochastique autocorrélé? Parce que Cardinal a qualifié son exemple de «absurde», comme «juste pour montrer que mathématiquement, nous pouvons avoir un estimateur cohérent avec une variance non nulle et finie».
Je voulais donner un indice que ce n'est pas nécessairement une curiosité, au moins dans l'esprit: Il y a des moments dans la vie réelle où de nouveaux processus commencent, des processus créés par l'homme, qui ont à voir avec la façon dont nous organisons nos vies et nos activités. Bien que nous les ayons généralement conçus et que nous pouvons en dire beaucoup à leur sujet, ils peuvent néanmoins être si complexes qu'ils sont raisonnablement traités comme stochastiques (l'illusion d'un contrôle complet sur ces processus ou d'une connaissance a priori complète de leur évolution, processus qui peut représenter de nouvelles façons d'échanger ou de produire, ou d'organiser la structure des droits et obligations entre les humains, n'est que cela, une illusion). Etre aussi nouveau, nous n'en avons pas suffisamment de réalisations cumulées pour pouvoir faire des inférences statistiques fiables sur leur évolution. Ensuite, les corrections ad hoc et peut-être "sous-optimales" sont néanmoins un phénomène réel, lorsque par exemple nous avons un processus où nous croyons fermement que son présent dépend du passé (d'où le processus stochastique auto-corrélé), mais nous n'en avons vraiment pas savoir comment faire (d'où la randomisation ad hoc, en attendant que les données s'accumulent pour estimer les covariances). Et peut-être qu'un statisticien trouverait une meilleure façon de faire face à ce type d'incertitude sévère - mais de nombreuses entités doivent fonctionner dans un environnement incertain sans bénéficier de ces services scientifiques.

Ce qui suit est la réponse initiale (fausse) (voir en particulier le commentaire de Cardinal)

Il existe des estimateurs qui convergent en probabilité vers une variable aléatoire: le cas de la "régression parasite" vient à l'esprit, où si nous essayons de régresser deux marches aléatoires indépendantes (c'est-à-dire des processus stochastiques non stationnaires) l'une sur l'autre en utilisant une estimation des moindres carrés ordinaires , l'estimateur OLS convergera vers une variable aléatoire.

Mais il n'existe pas d'estimateur cohérent avec une variance non nulle, car la cohérence est définie comme la convergence de la probabilité d'un estimateur à une constante , qui, par conception, a une variance nulle.

Prenez n'importe quel échantillon de la distribution avec une espérance finie et une variance infinie ( Pareto avec par exemple). Ensuite, la moyenne de l'échantillon convergera vers l'espérance due à la loi ou à de grands nombres (qui ne nécessite que l'existence de moyenne) et la variance sera infinie.$\alpha\in(1,2]$

Permettez-moi de donner un exemple d'une séquence de variables aléatoires convergeant vers zéro en probabilité mais avec une variance infinie. Essentiellement, un estimateur n'est qu'une variable aléatoire, donc avec un peu d'abstraction, vous pouvez voir que la convergence de la probabilité vers une constante n'implique pas une variance approchant zéro.

Considérons la variable aléatoire sur où la mesure de probabilité considérée est la mesure de Lebesgue. Clairement, mais pour tout donc sa variance ne va pas à zéro.$\xi_n(x):=\chi_{[0,1/n]}(x)x^{-1/2}$$[0,1]$$P(\xi_n(x)>0)=1/n\to0$

$$\int\xi_n^2dP=\int_{0}^{1/n}x^{-1}dx=\log(x)\mid _{0}^{1/n}=\infty,$$ $n$

Maintenant, créez un estimateur où, à mesure que votre échantillon grandit, vous estimez la vraie valeur par un tirage de . Notez que cet estimateur n'est pas sans biais pour 0, mais pour le rendre sans biais, vous pouvez simplement définir avec une probabilité égale 1/2 et l'utiliser comme votre estimateur. Le même argument pour la convergence et la variance tient clairement.$\mu=0$$\xi_n$$\eta_n:=\pm\xi_n$

Edit: Si vous voulez un exemple dans lequel la variance est finie, prenez et considérez à nouveau wp 1/2.

$$\xi_n(x):=\chi_{[0,1/n]}(x)\sqrt{n},$$ $\eta_n:=\pm\xi_n$