L'intuition derrière le paradoxe de Stein ne s'applique que dans les dimensions

L'exemple de Stein montre que l'estimation du maximum de vraisemblance de variables normalement distribuées avec les moyennes et les variances est inadmissible (sous une fonction de perte au carré) si et si . Pour une preuve plus nette, voir le premier chapitre de Inférence à grande échelle: méthodes empiriques bayésiennes d’estimation, de test et de prévision par Bradley Effron.μ 1 , … , μ n 1 n ≥ $n$$\mu_1,\ldots,\mu_n$$1$$n\ge 3$

C’était très surprenant pour moi au début, mais il ya une certaine intuition derrière pourquoi on peut s’attendre à ce que l’estimation standard soit inadmissible (notamment si , alors , comme indiqué dans l'article original de Stein, lié à ci-dessous).$x \sim \mathcal N(\mu,1)$$\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

Ma question est plutôt la suivante: quelle propriété de l'espace $n$ dimensionnel (pour $n\ge 3$ ) manque- t-elle de $\mathbb{R}^2$ ce qui facilite l'exemple de Stein? Les réponses possibles pourraient concerner la courbure de la sphère $n$ ou quelque chose de complètement différent.

En d'autres termes, pourquoi le MLE est-il admissible dans $\mathbb{R}^2$ ?

Edit 1: En réponse à @mpiktas, vous vous inquiétez de 1.31 à partir de 1.30:

Edit 2 : Dans cet article , Stein prouve que le MLE est admissible pour $N=2$ .

La dichotomie entre les cas et pour l'admissibilité de la MLE de la moyenne d'une variable aléatoire normale multivariée à dimensions est certainement choquante.$d < 3$$d \geq 3$$d$

Il existe un autre exemple très célèbre de probabilités et de statistiques dans lequel il existe une dichotomie entre les cas et . C’est la récurrence d’une simple marche aléatoire sur le réseau . C'est-à-dire que la marche aléatoire simple de dimension est récurrente dans 1 ou 2 dimensions, mais est transitoire dans dimensions. L'analogue en temps continu (sous la forme d'un mouvement brownien) est également valable.$d < 3$$d \geq 3$$\mathbb{Z}^d$$d$$d \geq 3$

Il s'avère que les deux sont étroitement liés.

Larry Brown a prouvé que les deux questions sont essentiellement équivalentes. C'est-à-dire que le meilleur estimateur invariant d'un vecteur moyen normal multidimensionnel à dimensions est admissible si et seulement si le mouvement brownien à dimensions est récurrent.$\hat{\mu} \equiv \hat{\mu}(X) = X$$d$$d$

En fait, ses résultats vont beaucoup plus loin. Pour tout sensible (c. -à- Bayes généralisée) estimateur avec bornée (généralisée) risque, il est explicite (!) Correspondant la diffusion de dimension telle que la estimateur est admissible si et seulement si sa diffusion correspondante est récurrente.$\tilde{\mu} \equiv \tilde{\mu}(X)$$L_2$$d$$\tilde{\mu}$

La moyenne locale de cette diffusion est essentiellement la différence entre les deux estimateurs, à savoir, et la covariance de la diffusion est . De ce fait , il est facile de voir que , pour le cas du MLE , nous récupérons (rééchelonné) mouvement brownien.$\tilde{\mu} - \hat{\mu}$$2 I$$\tilde{\mu} = \hat{\mu} = X$

Ainsi, dans un certain sens, nous pouvons examiner la question de la recevabilité à travers l’optique des processus stochastiques et utiliser des propriétés de diffusion bien étudiées pour parvenir aux conclusions souhaitées.

Références

1. L. Brown (1971). Estimateurs admissibles, diffusions récurrentes et problèmes insolubles des valeurs limites . Ann. Math. Stat. , vol. 42, non. 3, pages 855 à 903.
2. RN Bhattacharya (1978). Critères de récurrence et existence de mesures invariantes pour les diffusions multidimensionnelles . Ann. Prob. , vol. 6, non. 4, 541–553.

@ cardinal a donné une excellente réponse (+1), mais le problème reste mystérieux à moins de connaître les preuves (et je ne le suis pas). Je pense donc que la question reste de savoir quelle est la raison intuitive pour laquelle le paradoxe de Stein n'apparaît pas dans et .$\mathbb R$$\mathbb R^2$

Je trouve très utile une perspective de régression proposée dans Stephen Stigler, 1990, Perspective Galtonienne des estimateurs de retrait . Considérons des mesures indépendantes , chacune mesurant des sous-jacentes (non observées) et échantillonnées à partir de . Si nous connaissions en quelque sorte le , nous pourrions faire un diagramme de dispersion de paires :$X_i$$\theta_i$$\mathcal N(\theta_i, 1)$$\theta_i$$(X_i, \theta_i)$

La diagonale correspond à zéro bruit et à une estimation parfaite; en réalité, le bruit est non nul et les points sont donc déplacés de la diagonale dans le sens horizontal . De manière correspondante, peut être vu comme une droite de régression de sur . Cependant, nous connaissons et voulons estimer , nous devrions plutôt considérer une droite de régression de sur - qui aura une pente différente, biaisée horizontalement , comme indiqué sur la figure (ligne pointillée).$\theta = X$$\theta = X$$X$$\theta$$X$$\theta$$\theta$$X$

Citant l'extrait de Stigler:

Cette perspective galtonienne du paradoxe de Stein le rend presque transparent. Les estimateurs "ordinaires" sont dérivés de la droite de régression théorique de sur . Cette ligne serait utile si notre objectif était de prédire de , mais notre problème est l'inverse, à savoir pour prédire de en utilisant la somme des carrés des erreurs comme un critère. Pour ce critère, les estimateurs linéaires optimaux sont donnés par la droite de régression des moindres carrés de sur$\hat \theta_i^0 = X_i$$X$$\theta$$X$$\theta$$\theta$$X$$\sum (\theta_i - \hat \theta_i)^2$$\theta$$X$, et les estimateurs de James-Stein et Efron-Morris sont eux-mêmes des estimateurs de cet estimateur linéaire optimal. Les estimateurs "ordinaires" sont dérivés de la mauvaise droite de régression, les estimateurs de James-Stein et Efron-Morris sont dérivés d'approximations de la droite de régression.

Et voici le moment crucial (soulignement ajouté):

On peut même voir pourquoi est nécessaire: si ou , la ligne des moindres carrés de sur doit passer par les points , et donc pour ou , la deux droites de régression (de sur et de sur ) doivent concorder à chaque .$k\ge 3$$k=1$$2$$\theta$$X$$(X_i, \theta_i)$$k=1$$2$$X$$\theta$$\theta$$X$$X_i$

Je pense que cela rend très clair ce qui est spécial à propos de et .$k=1$$k=2$