Quels sont les inconvénients de la probabilité de profil?

Considérons un vecteur de paramètres , avec le paramètre d'intérêt et un paramètre de nuisance. $(\theta_1, \theta_2)$ $\theta_1$ $\theta_2$

Si est la probabilité construite à partir des données , la probabilité de profil pour est définie comme où est le MLE de $L(\theta_1, \theta_2 ; x)$ $x$ $\theta_1$ $L_P(\theta_1 ; x) = L(\theta_1, \hat{\theta}_2(\theta_1) ; x)$ $\hat{\theta}_2(\theta_1)$ $\theta_2$ pour une valeur fixe de . $\theta_1$

maximisant la vraisemblance de profil par rapport à conduit àmême estimation que celui obtenu en maximisant simultanément la probabilité par rapport à et . $\bullet$ $\theta_1$ $\hat{\theta}_1$ $\theta_1$ $\theta_2$

Je pense que l'écarttype de peut également être estiméepartirla dérivée seconde de la probabilité de profil. $\bullet$ $\hat{\theta}_1$

La statistique de vraisemblance pour peut être écrit en fonction de la probabilitéprofil: $\bullet$ $H_0: \theta_1 = \theta_0$ . $LR = 2 \log( \tfrac{L_P(\hat{\theta}_1 ; x)}{L_P(\theta_0 ; x)})$

Il semble donc que la vraisemblance du profil puisse être utilisée exactement comme s'il s'agissait d'une vraisemblance réelle. Est-ce vraiment le cas? Quels sont les principaux inconvénients de cette approche? Et qu'en est-il de la «rumeur» selon laquelle l'estimateur obtenu à partir de la probabilité de profil est biaisé (éditer: même asymptotiquement)?

maximum-likelihood likelihood profile-likelihood ocram
la source

juste une note, les estimateurs de la vraisemblance peuvent également être biaisés, l'exemple classique est l'estimation de la variance de vraisemblance pour un échantillon normal.

mpiktas

@mpiktas: Merci pour votre commentaire. En effet, le mle classique peut également être biaisé. Je vais modifier la question pour clarifier les choses.

ocram

quel est le biais asymptotique? Parlez-vous d'estimateurs non cohérents?

mpiktas

@mpiktas: Oui, c'est ce que j'aurais dû dire ...

ocram

Réponses:

L'estimation de partir de la vraisemblance du profil n'est que le MLE. La maximisation par rapport à pour chaque possible , puis la maximisation par rapport à est la même chose que la maximisation par rapport à conjointement. $\theta_1$ $\theta_2$ $\theta_1$ $\theta_1$ $(\theta_1, \theta_2)$

La principale faiblesse est que, si vous basez votre estimation de la SE de sur la courbure de la probabilité de profil, vous n'êtes pas entièrement la comptabilité pour l'incertitude . $\hat{\theta}_1$ $\theta_2$

McCullagh et Nelder, Modèles linéaires généralisés, 2e édition , a une courte section sur la vraisemblance du profil (Sec 7.2.4, pages 254-255). Ils disent:

[A] des ensembles de confiance approximatifs peuvent être obtenus de la manière habituelle .... de tels intervalles de confiance sont souvent satisfaisants si [la dimension de ] est petite par rapport à l'information totale de Fisher, mais sont susceptibles d'induire en erreur autrement. .. Malheureusement [la vraisemblance du journal de profil] n'est pas une fonction de vraisemblance du journal au sens habituel. De toute évidence, sa dérivée n'a pas de moyenne nulle, une propriété qui est essentielle pour estimer les équations. $\theta_2$

Karl
la source

E \frac{\partial l_{P} (θ_{1})}{\partial θ_{1}} \neq 0

$E \frac{\partial l_P(\theta_1)}{\partial \theta_1} \neq 0$

Question intéressante, même si elle nécessitait un voyage à la bibliothèque (ce que j'aurais dû faire de toute façon). J'ai ajouté un peu à ma réponse sur ce point.

Karl

Merci beaucoup pour la retouche. On dit que la propriété (le score évalué à la vraie valeur du paramètre a une moyenne nulle) est essentielle pour estimer les équations. Mais bien que la probabilité du journal de profil ne remplisse pas cette propriété, elle produit le MLE. Y a-t-il quelque chose qui me manque?

ocram

Cette propriété n'est pas nécessaire pour fournir le MLE.

Karl