Théorèmes généraux de cohérence et de normalité asymptotique du maximum de vraisemblance

10

Je suis intéressé par une bonne référence pour les résultats concernant les propriétés asymptotiques des estimateurs du maximum de vraisemblance. Considérons un modèle où est une densité à dimensions, et est le MLE basé sur un exemple de où est la "vraie" valeur de . Il y a deux irrégularités qui m'intéressent.f n ( x | θ ) n θ n X 1 , ... , X n f n ( | θ 0 ) θ 0 θ{fn(θ):θΘ,nN}fn(xθ)nθ^nX1,,Xnfn(θ0)θ0θ

  1. Les données ne sont pas iid et, par conséquent, les informations Fisher sur s'accumulent à un rythme plus lent que . θ nX1,,Xnθn
  2. Θ est un ensemble borné, et avec une probabilité positive se trouve à la frontière. La frontière correspond à un modèle "plus simple", et il y a donc un intérêt particulier à savoir si se trouve ou non sur la frontière.θ0θ^nθ0

Mes questions particulières sont

  1. Laissant désigner les informations de Fisher observées correspondant à , et supposons que se trouve à l'intérieur de . Dans quelles conditions asymptotiquement normal comme ? En particulier, les conditions de régularité sont-elles similaires à celles habituelles, la modification pertinente étant dans un certain sens?θ θ 0Jn(θ)θθ0[ J n ( θ n ) ] une / 2 ( θ n - θ 0 ) n J n ( θ n ) Θ

    [Jn(θ^n)]1/2(θ^nθ0)
    nJn(θ^n)
  2. Supposons plutôt que soit sur la frontière, et rappelons à nouveau que se produit avec une probabilité positive - pour plus de concrétité, dans un modèle à effets mixtes nous pouvons avoir . Dans quelles conditions (presque sûrement ou en probabilité) et dans quelles conditions éventuellement (cela échoue probablement pour le modèle à effets mixtes, mais correspond aux propriétés "oracle" pour le LASSO et les estimateurs associés, alors c'est peut-être trop demander des résultats généraux)?θ n = θ 0 Y i j = μ + β i + ε i j σ 2 β = 0 θ nθ 0 θ n = θ 0θ0θ^n=θ0Yij=μ+βi+ϵijσ^β2=0θ^nθ0θ^n=θ0

Encore une fois, un simple pointeur vers un texte avec des résultats à ce niveau de généralité serait grandement apprécié.

gars
la source

Réponses:

7

Références à partir desquelles vous pouvez commencer:

Pour le cas où le vrai paramètre se situe à la frontière :
Moran (1971) "Estimation du maximum de vraisemblance dans des conditions non standard"

Steven G. Self et Kung-Yee Liang (1987) "Propriétés asymptotiques des estimateurs du maximum de vraisemblance et tests de rapport de vraisemblance dans des conditions non standard"

Ziding Feng et Charles E. McCulloch (1990) "Inférence statistique utilisant l'estimation du maximum de vraisemblance et le rapport de vraisemblance généralisé lorsque le vrai paramètre est à la frontière de l'espace des paramètres"

Pour les VR non identiques mais indépendants :
Bruce Hoadley (1971) "Propriétés asymptotiques des estimateurs du maximum de vraisemblance pour le cas indépendant non identique distribué"

Pour les VR dépendants:
Martin J. Crowder (1976) "Estimation du maximum de vraisemblance pour les observations dépendantes"

Également

Huber, PJ (1967). "Le comportement des estimations du maximum de vraisemblance dans des conditions non standard" . Dans Actes du cinquième symposium de Berkeley sur les statistiques mathématiques et les probabilités (Vol. 1, No. 1, pp. 221-233).

Mise à jour 17-03-2017: comme suggéré dans un commentaire, le document suivant peut être référencé ici

Andrews, DW (1987). Cohérence dans les modèles économétriques non linéaires: une loi uniforme générique des grands nombres. Econometrica: Journal of the Econometric Society, 1465-1471.

Alecos Papadopoulos
la source
Jetez un œil à la discussion ici: andrewgelman.com/2012/07/05/…
kjetil b halvorsen
1
(+1) J'ai bien utilisé ces références. Il peut être utile d'inclure également Andrews, 1987 ( jstor.org/stable/1913568 ). En particulier, il "... souligne qu'un LLN uniforme fréquemment utilisé, dû à Hoadley (1971, théorème A.5), ne s'applique qu'aux variables aléatoires bornées."
ekvall