Consistance asymptotique avec variance asymptotique non nulle - qu'est-ce que cela représente?

La question a déjà été soulevée, mais je veux poser une question spécifique qui tentera d'obtenir une réponse qui la clarifiera (et la classera):

Dans "Poor Man's Asymptotics", on garde une distinction claire entre

(a) une séquence de variables aléatoires qui converge en probabilité vers une constante

contrairement à

(b) une séquence de variables aléatoires qui converge en probabilité vers une variable aléatoire (et donc en distribution vers elle).

Mais dans "Wise Man's Asymptotics", on peut aussi avoir le cas de

(c) une séquence de variables aléatoires qui converge en probabilité vers une constante tout en maintenant une variance non nulle à la limite.

Ma question est (voler de ma propre réponse exploratoire ci-dessous):

Comment pouvons-nous comprendre un estimateur qui est asymptotiquement cohérent mais qui a également une variance finie non nulle? Que reflète cet écart? En quoi son comportement diffère-t-il d'un estimateur cohérent "habituel"?

Fils liés au phénomène décrit en (c) (regardez aussi dans les commentaires):

mathematical-statistics variance convergence asymptotics consistency Alecos Papadopoulos
la source

La façon dont vous capitalisez "Asymptotique du Pauvre" me fait penser que je dois manquer la connaissance d'une référence (ou peut-être l'avoir vue mais l'oublier, ce qui revient à peu près à la même chose); soit un livre ou un papier réel, ou peut-être même juste une référence culturelle. Je connais "Poor Man's Data Augmentation" (Tanner et Wei), mais je ne pense pas que cela soit lié à ce que vous voulez dire. Qu'est-ce que je rate?

Glen_b -Reinstate Monica

@Glen_B Vous ne manquez rien - j'ai juste inventé le terme pour comparer le niveau de connaissance (= accès intellectuel à) la théorie asymptotique que des gens comme moi ont, contre, disons, celui de gens comme le cardinal. La capitalisation n'était qu'une tactique marketing.

Alecos Papadopoulos

Réponses:

27-10-2014: Malheureusement (pour moi, c'est le cas), personne n'a encore apporté de réponse ici, peut-être parce que cela ressemble à un problème théorique étrange et "pathologique" et rien de plus?

Eh bien pour citer un commentaire pour l'utilisateur Cardinal (que j'explorerai par la suite)

"Voici un exemple certes absurde, mais simple. L'idée est d'illustrer exactement ce qui peut mal tourner et pourquoi. Il a des applications pratiques (c'est moi qui souligne). Exemple: Considérons le modèle iid typique avec un second moment fini. Soit où est indépendant de et chacun avec une probabilité et est zéro sinon, avec arbitraire. Alors est sans biais, la variance est limitée ci-dessous par , et presque sûrement (c'est fortement cohérent). Je laisse comme exercice le cas du biais ". $\hat θ_n=\bar X_n+Z_n$ $Z_n$ $\bar X_n$ $Z_n=\pm an$ $1/n^2$ $a>0$ $\hat θ_n$ $a^2$ $\hat θ_n→\mu$

La variable aléatoire franc-tireur ici est , alors voyons ce que nous pouvons en dire. La variable prend en charge avec les probabilités correspondantes . Il est symétrique autour de zéro, nous avons donc $Z_n$
$\{-an,0,an\}$ $\{1/n^2,1-2/n^2,1/n^2\}$

E (Z_{n}) = 0, Var (Z_{n}) = \frac{(- a n)^{2}}{n^{2}} + 0 + \frac{(a n)^{2}}{n^{2}} = 2 a^{2}

$E(Z_n) = 0,\;\; \text{Var}(Z_n) = \frac {(-an)^2}{n^2} + 0 + \frac {(an)^2}{n^2} = 2a^2$

Ces moments ne dépendent pas de donc je suppose que nous sommes autorisés à écrire trivialement $n$

lim_{n \to \infty} E (Z_{n}) = 0, lim_{n \to \infty} Var (Z_{n}) = 2 a^{2}

$\lim_{n\rightarrow \infty} E(Z_n) = 0,\;\;\lim_{n\rightarrow \infty}\text{Var}(Z_n) = 2a^2$

Dans Asymptotique du pauvre, nous connaissons une condition pour que les limites des moments soient égales aux moments de la distribution limite. Si le ème moment de la distribution des cas finis converge vers une constante (comme c'est notre cas), alors, si de plus, $r$

\exists δ > 0 : lim sup E (| Z_{n} |^{r + δ}) < \infty

$\exists \delta >0 :\lim \sup E(|Z_n|^{r+\delta}) < \infty$

la limite du ème moment sera le ème moment de la distribution limite. Dans notre cas $r$ $r$

E (| Z_{n} |^{r + δ}) = \frac{| - a n |^{r + δ}}{n^{2}} + 0 + \frac{| a n |^{r + δ}}{n^{2}} = 2 a^{r + δ} \cdot n^{r + δ - 2}

$E(|Z_n|^{r+\delta}) = \frac {|-an|^{r+\delta}}{n^2} + 0 + \frac {|an|^{r+\delta}}{n^2} = 2a^{r+\delta}\cdot n^{r+\delta-2}$

Pour cela diverge pour tout , donc cette condition suffisante ne s'applique pas à la variance (elle s'applique à la moyenne). Prenez l'autre chemin: quelle est la distribution asymptotique de ? Le CDF de converge-t-il vers un CDF non dégénéré à la limite? $r\geq2$ $\delta >0$
$Z_n$ $Z_n$

Cela ne ressemble pas à ça: le support limitant sera (si nous sommes autorisés à écrire ceci), et les probabilités correspondantes . Ça ressemble à une constante pour moi. Mais si nous n'avons pas de distribution limite en premier lieu, comment parler de ses moments? $\{-\infty, 0, \infty\}$ $\{0,1,0\}$

Revenons ensuite à l'estimateur , puisque converge également vers une constante, il apparaît que $\hat \theta_n$ $\bar X_n$

$\hat \theta_n$ n'a pas de distribution limite (non triviale), mais il a une variance à la limite. Ou, peut-être que cette variance est infinie? Mais une variance infinie à distribution constante?

Comment pouvons-nous comprendre cela? Que nous dit-il sur l'estimateur? Quelle est la différence essentielle, à la limite, entre et ? $\hat \theta_n = \bar X_n + Z_n$ $\tilde \theta_n = \bar X_n$

Alecos Papadopoulos
la source

Requête de référence stupide: avez-vous une (bonne) source pour: "si le r-ième moment converge vers une constante, alors tous les moments d'index inférieur à r convergent vers les moments de la distribution limite?". Je sais que c'est vrai, mais je n'ai jamais trouvé de bonne source

Guillaume Dehaene

Deuxièmement, le théorème que vous essayez d'utiliser ne peut pas être appliqué dans ce cas: pour r = 2 (qui est le cas que vous voulez utiliser: vous voulez prouver que la variance converge), a pour tout strictement positif , le diverge!

δ

$\delta$

E (| Z_{n} |^{r + δ}

$E(|Z_n|^{r+\delta}$

Guillaume Dehaene

Peut-être serait-il bon de cingler @cardinal (dans le chat?) Pour qu'il se joigne à cette discussion.

amibe dit Réintégrer Monica

@amoeba Cardinal est un estimateur qui converge vers la vraie réponse ici, mais je me souviens avoir essayé de le faire participer au passé sans succès.

Alecos Papadopoulos du

@GuillaumeDehaene Une référence est AW Van der Vaart (1998) "Asymptotic Statistics", ch. 2.5 "Convergence des moments". Il est donné comme exemple 2.21 du théorème 2.20. Et vous avez raison: j'avais l'impression qu'il suffisait d'avoir une limite pour fini - mais c'est le limsup qui doit être fini. Je corrige mon message.

n

$n$

Alecos Papadopoulos du

Je ne donnerai pas une réponse très satisfaisante à votre question, car elle me semble un peu trop ouverte, mais permettez-moi de tenter de vous expliquer pourquoi cette question est difficile.

Je pense que vous avez du mal avec le fait que les topologies conventionnelles que nous utilisons sur les distributions de probabilité et les variables aléatoires sont mauvaises. J'ai écrit un article plus important à ce sujet sur mon blog, mais permettez-moi de résumer: vous pouvez converger dans le sens faible (et la variation totale) tout en violant les hypothèses de sens commun sur ce que signifie la convergence.

Par exemple, vous pouvez converger en topologie faible vers une constante tout en ayant une variance = 1 (ce qui est exactement ce que fait votre séquence ). Il y a alors une distribution limite (dans la topologie faible) qui est cette variable aléatoire monstrueuse qui est la plupart du temps égale à 0 mais infiniment rarement rarement égale à l'infini. $Z_n$

Personnellement, je suppose que cela signifie que la topologie faible (et la topologie à variation totale également) est une mauvaise notion de convergence qui devrait être écartée. La plupart des convergences que nous utilisons réellement sont plus fortes que cela. Cependant, je ne sais pas vraiment quoi utiliser à la place de la topologie faible sooo ...

Si vous voulez vraiment trouver une différence essentielle entre et , voici mon avis: les deux estimateurs sont équivalents pour la perte [0,1] (lorsque la taille de votre erreur n'a pas d'importance). Cependant, est bien meilleur si la taille de vos erreurs est importante, car échoue parfois de manière catastrophique. $\hat \theta= \bar X+Z_n$ $\tilde \theta=\bar X$ $\tilde \theta$ $\hat \theta$

Guillaume Dehaene
la source

Un estimateur est cohérent en probabilité mais pas en MSE s'il y a une probabilité arbitrairement petite de l'estimateur "explosant". Bien qu'il s'agisse d'une curiosité mathématique intéressante, à des fins pratiques, cela ne devrait pas vous déranger. À toute fin pratique, les estimateurs ont des supports finis et ne peuvent donc pas exploser (le monde réel n'est ni infiniment petit ni grand).

Si vous souhaitez toujours faire appel à une approximation continue du «monde réel» et que votre approximation est telle qu'elle converge en probabilité et non en MSE, alors prenez-la telle quelle: votre estimateur peut avoir raison avec une probabilité arbitrairement grande, mais il y aura toujours une petite chance arbitraire d'explosion. Heureusement, quand il le fera, vous le remarquerez, afin que sinon, vous puissiez lui faire confiance. :-)

JohnRos
la source

J'ai l'impression que converge en carré moyen, car

\hat{θ} = \bar{X} + Z_{n}

$\hat \theta = \bar X + Z_n$

lim E ({\hat{θ}}^{2}) = 2 a^{2}

$\lim E(\hat \theta^2) = 2a^2$

Alecos Papadopoulos

La question porte spécifiquement sur l'interprétation d'un estimateur qui converge en probabilité et non en MSE (en raison d'une variance non disparue).

JohnRos

Vous avez raison, je viens de confondre un signe plus avec un signe moins.

Alecos Papadopoulos