Biais des estimateurs du maximum de vraisemblance pour la régression logistique

J'aimerais comprendre quelques faits sur les estimateurs du maximum de vraisemblance (MLE) pour les régressions logistiques.

Est-il vrai qu'en général, le MLE pour la régression logistique est biaisé? Je dirais "oui". Je sais, par exemple, que la dimension de l'échantillon est liée au biais asymptotique des MLE.

Connaissez-vous des exemples élémentaires de ce phénomène?
Si le MLE est biaisé, est-il vrai que la matrice de covariance des MLE est l'inverse de la Hesse de la fonction de maximum de vraisemblance?

edit : j'ai rencontré cette formule assez souvent et sans aucune preuve; cela me semble un choix tout à fait arbitraire.

logistic maximum-likelihood unbiased-estimator bias Avitus
la source

$T$

Pr ({Oui}_{je} = 1 ∣ T_{je} = 1) = Λ (α + β T_{je})

$\Pr(Y_i=1\mid T_i=1) = \Lambda (\alpha + \beta T_i)$

Λ

$\Lambda$

Λ (u) = {[1 + \exp {- u}]}^{- 1}

$\Lambda(u) = \left[1+\exp\{-u\}\right]^{-1}$

Sous forme logit, nous avons

\ln (\frac{Pr ({Oui}_{je} = 1 ∣ T_{je} = 1)}{1 - Pr ({Oui}_{je} = 1 ∣ T_{je} = 1)}) = α + β T_{je}

$\ln \left(\frac{\Pr(Y_i=1\mid T_i=1)}{1-\Pr(Y_i=1\mid T_i=1)}\right) = \alpha + \beta T_i$

Vous avez un échantillon de taille . Notons le nombre d'observations où et celles où , et . Considérez les probabilités conditionnelles estimées suivantes: $n$ $n_1$ $T_i=1$ $n_0$ $T_i=0$ $n_1+n_0=n$

\hat{Pr} (Oui = 1 ∣ T = 1) \equiv {\hat{P}}_{1 | 1} = \frac{1}{n_{1}} \sum_{T_{je} = 1} y_{je}

$\hat \Pr(Y=1\mid T=1)\equiv \hat P_{1|1} = \frac 1{n_1}\sum_{T_i=1}y_i$

\hat{Pr} (Oui = 1 ∣ T = 0) \equiv {\hat{P}}_{1 | 0} = \frac{1}{n_{0}} \sum_{T_{je} = 0} y_{je}

$\hat \Pr(Y=1\mid T=0)\equiv \hat P_{1|0} = \frac 1{n_0}\sum_{T_i=0}y_i$

Ensuite, ce modèle très basique fournit des solutions sous forme fermée pour l'estimateur ML:

\hat{α} = \ln (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}}), \hat{β} = \ln (\frac{{\hat{P}}_{1 | 1}}{1 - {\hat{P}}_{1 | 1}}) - \ln (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})

$\hat \alpha = \ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right),\qquad \hat \beta = \ln\left(\frac{\hat P_{1|1}}{1-\hat P_{1|1}}\right)-\ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)$

BIAS

Bien que et soient des estimateurs non biaisés des probabilités correspondantes, les MLE sont biaisés, car la fonction logarithmique non linéaire gêne - imaginer ce qui arrive aux modèles plus compliqués , avec un degré de non-linéarité plus élevé. $\hat P_{1|1}$ $\hat P_{1|0}$

Mais asymptotiquement, le biais disparaît car les estimations de probabilité sont cohérentes. En insérant directement l' opérateur à l'intérieur de la valeur attendue et du logarithme, nous avons $\lim$

lim_{n \to \infty} E [\hat{α}] = E [\ln (lim_{n \to \infty} \frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})] = E [\ln (\frac{P_{1 | 0}}{1 - P_{1 | 0}})] = α

$\lim_{n\rightarrow \infty}E[\hat \alpha] = E\left[\ln\left(\lim_{n\rightarrow \infty}\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)\right] = E\left[\ln\left(\frac{P_{1|0}}{1-P_{1|0}}\right)\right] =\alpha$

et de même pour . $\beta$

MATRICE DE VARIANCE-COVARIANCE DE MLE
Dans le cas simple ci-dessus qui fournit des expressions de forme fermée pour l'estimateur, on pourrait, au moins en principe, continuer et dériver sa distribution exacte d'échantillon fini, puis calculer sa matrice exacte d'échantillon fini variance-covariance . Mais en général, le MLE n'a pas de solution sous forme fermée. Ensuite, nous avons recours à une estimation cohérente de la matrice asymptotique de variance-covariance, qui est en effet (le négatif de) l'inverse de la Hesse de la fonction log-vraisemblance de l'échantillon, évaluée au MLE. Et il n'y a pas ici de "choix arbitraire", mais il résulte de la théorie asymptotique et des propriétés asymptotiques du MLE (cohérence et normalité asymptotique), qui nous dit que, pour , $\theta_0 = (\alpha, \beta)$

\sqrt{n} (\hat{θ} - θ_{0}) \to_{ré} N (0, - (E [H])^{- 1})

${\sqrt n}(\hat \theta-\theta_0)\rightarrow_d N\left(0, -(E[H])^{-1}\right)$

où est la Hesse. Approximativement et pour les (grands) échantillons finis, cela nous amène à $H$

Var (\hat{θ}) \approx - \frac{1}{n} (E [H])^{- 1} \approx - \frac{1}{n} {(\frac{1}{n} \hat{H})}^{- 1} = - {\hat{H}}^{- 1}

$\operatorname{Var}(\hat \theta) \approx -\frac 1n(E[H])^{-1}\approx -\frac 1n\left(\frac 1n\hat H\right)^{-1}=-\hat H^{-1}$

Alecos Papadopoulos
la source

Biais des estimateurs du maximum de vraisemblance pour la régression logistique

Réponses: