Le MLE de asymptotiquement normal lorsque ?

Supposons que ait le pdf $(X,Y)$

f_{θ} (x, y) = e^{- (x / θ + θ y)} 1_{x > 0, y > 0}, θ > 0

$f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0$

La densité de l'échantillon tiré de cette population est donc $(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}$

\begin{aligned} g_{θ} (X, y) & = \prod_{je = 1}^{n} F_{θ} (X_{je}, y_{je}) \\ = \exp [- \sum_{je = 1}^{n} (\frac{X_{je}}{θ} + θ y_{je})] 1_{X_{1}, \dots, X_{n}, y_{1}, \dots, y_{n} > 0} \\ = \exp [- \frac{n \bar{X}}{θ} - θ n \bar{y}] 1_{X_{(1)}, y_{(1)} > 0}, θ > 0 \end{aligned}

$\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align}$

L'estimateur du maximum de vraisemblance de peut être dérivé comme $\theta$

\hat{θ} (X, Oui) = \sqrt{\frac{\bar{X}}{\bar{Y}}}

$\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y}$

Je souhaite savoir si la distribution limite de ce MLE est normale ou non.

Il est clair qu'une statistique suffisante pour $\theta$ basée sur l'échantillon est $(\overline X,\overline Y)$ .

Maintenant, j'aurais dit que le MLE est asymptotiquement normal sans aucun doute s'il faisait partie de la famille exponentielle à un paramètre régulière. Je ne pense pas que ce soit le cas, en partie parce que nous avons une statistique suffisante en deux dimensions pour un paramètre unidimensionnel (comme dans la distribution , par exemple). $N(\theta,\theta^2)$

En utilisant le fait que et sont en fait des variables exponentielles indépendantes, je peux montrer que la distribution exacte de est telle que $X$ $Y$ $\hat\theta$

\frac{\hat{θ}}{θ} \overset{ré}{=} \sqrt{F}, où F \sim F_{2 n, 2 n}

$\frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n}$

Je ne peux pas continuer à trouver la distribution limite d'ici.

Au lieu de cela, je peux affirmer par WLLN que et , de sorte que . $\overline X\stackrel{P}\longrightarrow\theta$ $\overline Y\stackrel{P}\longrightarrow 1/\theta$ $\hat\theta\stackrel{P}\longrightarrow\theta$

Cela m'indique que converge en distribution vers . Mais cela n'est pas surprenant, car est un «bon» estimateur de . Et ce résultat n'est pas assez fort pour conclure si quelque chose comme est asymptotiquement normal ou non. Je ne pouvais pas non plus trouver d'argument raisonnable en utilisant CLT. $\hat\theta$ $\theta$ $\hat\theta$ $\theta$ $\sqrt n(\hat\theta-\theta)$

Il reste donc à savoir si la distribution parentale ici satisfait aux conditions de régularité pour que la distribution limite de MLE soit normale.

maximum-likelihood convergence exponential asymptotics central-limit-theorem TêtuAtom
la source

Empiriquement, cela semble très proche de la normale. Vous trouverez peut-être plus facile de mettre à (ce n'est qu'un facteur d'échelle) et de déterminer ensuite si la distribution de la racine carrée du rapport des moyennes d'échantillonnage des variables aléatoires exponentielles iid est asymptotiquement normale. En utilisant la méthode delta, cela correspond à la distribution du rapport des moyennes d'échantillonnage des variables aléatoires exponentielles iid étant asymptotiquement normale. Et cela correspond à la distribution du rapport de deux variables aléatoires gamma iid asymptotiquement normales lorsque le paramètre de forme augmente.

θ

$\theta$

1

$1$

Henry

La normalité asymptotique des MLE n'a rien à voir avec les familles exponentielles. Intuitivement, pour que la normalité asymptotique se maintienne, il vous suffit de vous assurer qu'il n'y a aucune chance que la solution soit proche de la limite de l'espace des paramètres.

whuber

@whuber Pour autant que je sache, les pdfs qui sont membres de la famille exponentielle canonique ont presque toujours des MLE asymptotiquement normaux (pas que cela soit dû à la famille exp). C'est le lien que j'essayais de souligner.

StubbornAtom

À droite: mais la connexion est à sens unique. Les résultats asymptotiques pour MLE sont beaucoup plus généraux et donc j'essayais de suggérer que regarder dans cette direction générale, plutôt que de se concentrer sur les propriétés des familles exponentielles, pourrait être une enquête plus fructueuse.

whuber

Une preuve utilisant CLT multivariée et la méthode delta est également possible comme cela est fait ici .

StubbornAtom

Réponses:

Une preuve directe de la normalité asymptotique:

La log-vraisemblance ici est

L = - \frac{n \bar{X}}{θ} - θ n \bar{y}

$L = -\frac {n \bar x}{\theta} - \theta n \bar y$

Les premier et deuxième dérivés sont

\frac{\partial L}{\partial θ} = \frac{n \bar{X}}{θ^{2}} - n \bar{y}, \frac{\partial^{2} L}{\partial θ^{2}} = - \frac{2 n \bar{X}}{θ^{3}}

$\frac {\partial L}{\partial \theta } = \frac {n \bar x}{\theta^2} - n\bar y,\;\;\;\frac {\partial^2 L}{\partial \theta^2 } = -\frac {2n \bar x}{\theta^3}$

Le MLE s satisfait $\hat \theta_n$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta }=0$

En appliquant une expansion de la valeur moyenne autour de la valeur réelle $\theta_0$ nous avons

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = \frac{\partial L (θ_{0})}{\partial θ} + \frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}} ({\hat{θ}}_{n} - θ_{0}) = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta } = \frac {\partial L(\theta_0)}{\partial \theta } + \frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }(\hat \theta_n - \theta_0) =0$

pour certains $\tilde \theta_n$ entre et . Réorganiser nous avons, $\hat \theta_n$ $\theta_0$

({\hat{θ}}_{n} - θ_{0}) = - {(\frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}})}^{- 1} \frac{\partial L (θ_{0})}{\partial θ}

$(\hat \theta_n - \theta_0) = -\left(\frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }\right)^{-1}\frac {\partial L(\theta_0)}{\partial \theta }$

Mais dans notre cas à paramètre unique, l'inverse n'est que l'inverse, donc, en insérant également les expressions spécifiques des dérivées,

({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 n \bar{X}} (\frac{n \bar{X}}{θ_{0}^{2}} - n \bar{y})

$(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2n\bar x}\left(\frac {n \bar x}{\theta^2_0} - n\bar y\right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{X} θ_{0}^{2}} \sqrt{n} \cdot (\bar{X} - θ_{0}^{2} \bar{y})

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\sqrt{n}\cdot\left(\bar x - \theta_0^2\bar y \right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{X} θ_{0}^{2}} \cdot (n^{- 1 / 2} \sum_{je = 1}^{n} (X_{je} - θ_{0}^{2} y_{je}))

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\cdot\left (n^{-1/2}\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right)$

La variance de la somme est

Var (\sum_{je = 1}^{n} (X_{je} - θ_{0}^{2} y_{je})) = 2 n θ_{0}^{2}

$\text{Var}\left(\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) = 2n\theta_0^2$

$S_n$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{X} θ_{0}}) \cdot \frac{\sum_{je = 1}^{n} (X_{je} - θ_{0}^{2} y_{je})}{\sqrt{n} \sqrt{2} θ_{0}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {\sum_{i=1}^n(x_i-\theta_0^2 y_i)}{\sqrt{n}\sqrt{2}\theta_0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{X} θ_{0}}) \cdot \frac{S_{n}}{\sqrt{Var (S_{n})}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {S_n}{\sqrt{\text{Var}(S_n)}}$

$E(x_i-\theta_0^2 y_i) = 0$ $E(S_n)=0$

\frac{S_{n}}{\sqrt{Var (S_{n})}} \to_{ré} N (0, 1)

$\frac {S_n}{\sqrt{\text{Var}(S_n)}} \to_d N(0,1)$

En raison de la cohérence de l'estimateur, nous avons également

(\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{X} θ_{0}}) \to_{p} \frac{θ_{0}}{\sqrt{2}}

$\left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right) \to_p \frac{\theta_0}{\sqrt{2}}$

et par le théorème de Slutsky nous arrivons à

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \to_{ré} N (0, θ_{0}^{2} / 2)

$\sqrt{n}(\hat \theta_n - \theta_0) \to_d N (0, \theta_0^2/2)$

$\theta_0$

Alecos Papadopoulos
la source

Désolé pour la réponse tardive. Pendant tout ce temps, je me demandais s'il s'agissait d'une famille exponentielle incurvée et donc le MLE pourrait se comporter différemment.

StubbornAtom

@StubbornAtom La normalité asymptotique est certainement perdue lorsque le paramètre sous-estimé est à la limite du paramètre (un résultat assez intuitif si vous y réfléchissez).

Alecos Papadopoulos