Comment calculez-vous les erreurs standard pour une transformation du MLE?

J'ai besoin de faire une inférence sur un paramètre positif . Pour tenir compte de la positivité, j'ai reparamétrisé . En utilisant la routine MLE, j'ai calculé l'estimation ponctuelle et se pour . La propriété d'invariance du MLE me donne directement une estimation ponctuelle pour , mais je ne sais pas comment calculer se pour . Merci d'avance pour toute suggestion ou référence. $p$ $p=\exp(q)$ $q$ $p$ $p$

maximum-likelihood standard-error delta-method Marcel
la source

Ne pouvez-vous pas utiliser la même routine MLE pour calculer une estimation ponctuelle et se pour directement?

p

$p$

whuber

Réponses:

La méthode Delta est utilisée à cet effet. Sous certaines hypothèses de régularité standard , nous savons que le MLE, pour est approximativement (ie asymptotiquement) distribué comme $\hat{\theta}$ $\theta$

\hat{θ} \sim N (θ, I^{- 1} (θ))

$\hat{\theta} \sim N(\theta, \mathcal{I}^{-1}(\theta))$

où est l'inverse des informations de Fisher pour tout l'échantillon, évaluées à et dénote la distribution normale avec la moyenne et variance . L' invariance fonctionnelle du MLE dit que le MLE de , où est une fonction connue, est (comme vous l'avez souligné) et a une distribution approximative $\mathcal{I}^{-1}(\theta)$ $\theta$ $N(\mu,\sigma^{2})$ $\mu$ $\sigma^{2}$ $g(\theta)$ $g$ $g(\hat{\theta})$

g (\hat{θ}) \sim N (g (θ), I^{- 1} (θ) [g^{'} (θ)]^{2})

$g(\hat{\theta}) \sim N( g(\theta), \mathcal{I}^{-1}(\theta) [g'(\theta)]^{2} )$

où vous pouvez brancher des estimateurs cohérents pour les quantités inconnues (c'est-à-dire brancher où apparaît dans la variance). Je suppose que les erreurs standard que vous avez sont basées sur les informations de Fisher (puisque vous avez des MLE). Désignons cette erreur standard en . Ensuite, l'erreur standard de , comme dans votre exemple, est $\hat{\theta}$ $\theta$ $s$ $e^{\hat{\theta} }$

\sqrt{s^{2} e^{2 \hat{θ}}}

$\sqrt{s^{2}e^{2 \hat{\theta}}}$

Je peux vous interpréter à l'envers et en réalité vous avez la variance du MLE de et voulez la variance du MLE de auquel cas la norme serait $\theta$ $\log(\theta)$

\sqrt{s^{2} / {\hat{θ}}^{2}}

$\sqrt{ s^{2}/\hat{\theta}^{2} }$

Macro
la source

Juste une remarque: il existe également des extensions multivariées appropriées où les dérivés sont remplacés par des gradients, et les multiplications doivent être des multiplications matricielles, il y a donc un peu plus de casse-tête pour déterminer où va la transposition.

StasK

Merci d'avoir signalé cela StasK. Je crois que dans le cas multivarié, la covariance asymptotique de est

g (\hat{θ})

$g(\hat{\theta})$

\nabla g (θ)^{'} I (θ)^{- 1} \nabla g (θ)

$\nabla g(\theta)' \mathcal{I}(\theta)^{-1} \nabla g(\theta)$

Macro

(+1) J'ai ajouté un lien vers les hypothèses de régularité (et d'autres choses) car il n'est pas clair si elles sont satisfaites dans le problème du PO. J'aurais pu dire que est asymptotiquement normal et pas approximativement normal, car les taux de convergence peuvent parfois être lents.

\hat{θ}

$\hat{\theta}$

MånsT

Merci @ MånsT, j'ai également précisé que je voulais dire asymptotiquement quand j'ai dit environ :)

Macro

La macro a donné la bonne réponse sur la façon de transformer les erreurs standard via la méthode delta. Bien que le PO ait spécifiquement demandé les erreurs standard, je soupçonne que l'objectif est de produire des intervalles de confiance pour . Outre le calcul des erreurs types estimées de vous pouvez directement transformer un intervalle de confiance, , dans la paramétrisation en un intervalle de confiance dans le -paramétrisation. Ceci est parfaitement valable, et il peut même être une meilleure idée selon la façon dont l'approximation normale utilisée pour justifier un intervalle de confiance basé sur des erreurs standard fonctionne dans la paramétrisation par rapport à la $p$ $\hat{p}$ $[q_1, q_2]$ $q$ $[\exp(q_1), \exp(q_2)]$ $p$ $q$ $p$ -paramétrisation. De plus, l'intervalle de confiance directement transformé satisfera la contrainte de positivité.

NRH
la source