Exemple d'un estimateur du maximum de vraisemblance incohérent

13

Je lis un commentaire dans un article, et l'auteur déclare que parfois, même si les estimateurs (trouvés par ML ou quasi-vraisemblance maximale) peuvent ne pas être cohérents, la puissance d'un rapport de vraisemblance ou d'un test de rapport de quasi-vraisemblance peut toujours converger vers 1 car le nombre de données observées tend vers l'infini (cohérence des tests). Comment et quand cela se produit-il? Connaissez-vous une bibliographie?

Un vieil homme dans la mer.
la source
Que sont LR et QLR?
gung - Rétablir Monica
Test du rapport de vraisemblance et du rapport de quasi-vraisemblance;)
Un vieil homme en mer.
La puissance doit aller à 1 partout sauf à un moment donné. Ce que vous n'aurez pas, c'est le taux d'erreur nominal de type 1.
Glen_b -Reinstate Monica
@Glen_b, pourriez-vous nous en dire plus sur votre commentaire? Merci;)
Un vieil homme dans la mer.
@Glen_b, malheureusement non, et wiki ne semble pas y avoir d'entrée ...
Un vieil homme dans la mer.

Réponses:

10

[Je pense que cela pourrait être un exemple du genre de situation dont il est question dans votre question.]

Il existe de nombreux exemples d'estimateurs ML incohérents. L'incohérence est généralement observée avec une variété de problèmes de mélange légèrement compliqués et de problèmes de censure.

[La cohérence d'un test est fondamentalement juste que la puissance du test pour une fausse hypothèse (fixe) augmente à un comme .]n

Radford Neal donne un exemple dans son article de blog du 2008-08-09 Estimation du maximum de vraisemblance incohérente: un exemple «ordinaire» . Il s'agit d'estimer le paramètre dans:θ

X | θ    (1/2)N(0,1) + (1/2)N(θ,exp(1/θ2)2)

(Neal utilise où j'ai θ ) où l'estimation ML de θ tendra vers 0 comme n (et en effet la probabilité peut être beaucoup plus élevée dans un pic près de 0 qu'à la valeur vraie pour des tailles d'échantillon assez modestes). Il n'en reste pas moins qu'il y a un pic proche de la vraie valeur θ , il est juste plus petit que celui proche de 0.tθθ0nθ

Imaginons maintenant deux cas liés à cette situation:

a) effectuer un test de rapport de vraisemblance de contre l'alternative H 1 : θ < θ 0 ;H0:θ=θ0H1:θ<θ0

b) effectuer un test de rapport de vraisemblance de H0:θ=θ0 contre l'alternative .H1:θθ0

Dans le cas (a), imaginez que le vrai (de sorte que l'alternative soit vraie et 0 soit l'autre côté du vrai θ ). Alors malgré le fait que la vraisemblance très proche de 0 dépassera celle à θ , la vraisemblance à θθ<θ00θθθ dépasse néanmoins la probabilité à même dans de petits échantillons, et le rapport continuera de croître plus grand que n , dans un tel un moyen de faire passer la probabilité de rejet dans un test de rapport de vraisemblance à 1.θ0n

En effet, même dans le cas (b), tant que est fixe et borné à 0 , il devrait également être le cas que le rapport de vraisemblance augmentera de manière à rendre également la probabilité de rejet dans un test de rapport de vraisemblance approche 1.θ00

Cela semble donc être un exemple d'estimation de ML incohérente, où la puissance d'un LRT devrait néanmoins aller à 1 (sauf lorsque ).θ0=0

[Notez qu'il n'y a vraiment rien à cela qui ne soit pas déjà dans la réponse de whuber, qui je pense est un exemple de clarté, et est beaucoup plus simple pour comprendre la différence entre la cohérence du test et la cohérence d'un estimateur. Le fait que l'estimateur incohérent dans l'exemple spécifique ne soit pas ML n'a pas vraiment d'importance pour comprendre cette différence - et introduire un estimateur incohérent qui est spécifiquement ML - comme j'ai essayé de le faire ici - ne change pas vraiment la explication de manière substantielle. Le seul vrai point de l'exemple ici est que je pense qu'il répond à votre préoccupation concernant l'utilisation d'un estimateur ML.]

Glen_b -Reinstate Monica
la source
Merci Glen pour votre réponse, mais j'ai encore une question. Le fait est que généralement dans la preuve pour que la distribution limite du TLR soit khi carré, on suppose que les estimateurs ML sont cohérents. Dans votre cas, comment justifieriez-vous qu'un rapport de probabilité croissant fera passer la probabilité de rejet à 1, lorsque la distribution limite est inconnue? Ou est-ce connu?
Un vieil homme dans la mer.
Tout ce dont vous avez besoin pour que la statistique de test du rapport de vraisemblance croisse sans limite est que la probabilité à la valeur du numérateur de croître plus rapidement que celle du dénominateur. Ma compréhension de la discussion liée était que Neal impliquait que c'était le cas, mais je n'ai fait aucune vérification réelle des détails. Je ne pense pas qu'il y ait de bonnes raisons d'affirmer que le test aurait la distribution du khi carré; mon hypothèse à partir du peu d'informations que vous avez fournies dans la question était que le test décrit se faisait comme s'il était asymptotiquement chi carré, mais ... (ctd)θ
Glen_b -Reinstate Monica
(ctd) ... il faudrait demander à l'auteur du commentaire que vous avez décrit si c'était ce qu'ils voulaient dire.
Glen_b -Reinstate Monica
En fait, ce que j'ai dit n'est pas tout à fait juste, car il est possible que le numérateur croisse plus vite que le dénominateur mais que le rapport ne croisse pas sans limite (dans le sens où le rapport des deux pourrait croître mais être limité). J'aurais dû dire quelque chose comme "suffisamment vite".
Glen_b -Reinstate Monica
8

Soit tiré iid d'une distribution normale ( μ , 1 ) . Considérez l'estimateur(Xn)(μ,1)

T(x1,,xn)=1+x¯=1+1ni=1nxn.

La distribution de est normale ( μ + 1 , 1 / T(X1,,Xn)=1+X¯. Il converge versμ+1μ, ce qui montre qu'il est incohérent.(μ+1,1/n)μ+1μ

En comparant une hypothèse nulle à une alternative simple, disons μ = μ A , le rapport de vraisemblance log sera exactement le même que le LLR basé sur ˉ X au lieu de T . (En effet, T est utile pour comparer l'hypothèse nulle μ + 1 = μ 0 + 1 à l'hypothèse alternative μ + 1 = μ A + 1. ) Puisque le test basé sur la moyenne a une puissance convergente vers 1 pour toute taille de test αμ=μ0μ=μAX¯TTμ+1=μ0+1μ+1=μA+11 et toute taille d'effet, la puissance du test utilisant T lui-même converge également vers 1 .α>0T1

whuber
la source
merci de votre intérêt pour cette question. Comment pouvons-nous, dans un cadre plus général, être sûr de la cohérence du test? Je cherchais une réponse plus générale, et non un cas spécifique. Et aussi une bibliographie si disponible. Merci;)
Un vieil homme dans la mer.
Aussi, je me trompe peut-être, mais l'estimateur T ne semble pas être l'estimateur ML. La question est «quand avons-nous la cohérence des tests, quand les estimateurs ML ou les estimateurs de quasi-vraisemblance maximale ne sont pas cohérents?»
Un vieil homme dans la mer.
J'ai édité la question, car elle n'avait peut-être pas clairement ce que je voulais. Désolé;)
Un vieil homme dans la mer.