Quelle est la méthode des moments et comment est-elle différente de MLE?

En général, il semble que la méthode des moments correspond simplement à la moyenne observée de l'échantillon ou à la variance des moments théoriques pour obtenir des estimations de paramètres. C'est souvent la même chose que MLE pour les familles exponentielles, je suppose.

Cependant, il est difficile de trouver une définition claire de la méthode des moments et une explication claire de la raison pour laquelle le MLE semble être généralement préféré, même s'il peut être plus difficile de trouver le mode de la fonction de vraisemblance.

Cette question est MLE plus efficace que la méthode Moment? a une citation du professeur Donald Rubin (à Harvard) disant que tout le monde sait depuis les années 40 que MLE bat MoM, mais je serais intéressé de connaître l'histoire ou le raisonnement à ce sujet.

En MoM, l'estimateur est choisi de sorte qu'une fonction a une espérance conditionnelle égale à zéro. Par exemple . Souvent, l'attente est conditionnelle à . Typiquement, ceci est converti en un problème de minimisation d'une forme quadratique dans ces attentes avec une matrice de poids.$E[g(y,x,\theta)] = 0$$x$

Dans MLE, l'estimateur maximise la fonction de vraisemblance logarithmique.

En général, le MLE fait des hypothèses plus strictes (la pleine densité) et est donc généralement moins robuste mais plus efficace si les hypothèses sont remplies (il atteint la borne inférieure de Kramer Rao sur la variance asymptotique).

Dans certains cas, les deux coïncident, OLS étant un exemple notable où la solution analytique est identique et donc l'estimateur se comporte de la même manière.

Dans un certain sens, vous pouvez considérer un MLE (dans presque tous les cas) comme un estimateur MoM car l'estimateur définit la valeur attendue du gradient de la fonction de vraisemblance logarithmique à zéro. Dans ce sens, il existe des cas où la densité est incorrecte mais le MLE est toujours cohérent car les conditions du premier ordre sont toujours remplies. MLE est alors appelé "quasi-ML".

Quelle est la méthode des moments?

Il y a un bel article à ce sujet sur Wikipedia.

https://en.m.wikipedia.org/wiki/Method_of_moments_(statistics)

Cela signifie que vous estimez les paramètres de la population en sélectionnant les paramètres de sorte que la distribution de la population ait des moments équivalents aux moments observés dans l'échantillon.

En quoi est-ce différent de MLE

L'estimation du maximum de vraisemblance minimise la fonction de vraisemblance. Dans certains cas, ce minimum peut parfois être exprimé en termes de définition de paramètres de population égaux aux paramètres d'échantillon.

Par exemple, lorsque nous estimons le paramètre moyen d'une distribution et utilisons MLE, nous finissons souvent par utiliser . Cependant, cela ne doit pas toujours être le cas (lié: https://stats.stackexchange.com/a/317631/164061 bien que dans le cas de l'exemple là-bas, la distribution de Poisson, l'estimation MLE et MoM coïncident et le il en va de même pour beaucoup d'autres). Par exemple, la solution MLE pour l'estimation de dans une distribution log normale est:$\mu = \bar{x}$$\mu$

Alors que la solution MoM résout

Le MoM est donc un moyen pratique d'estimer les paramètres, conduisant souvent au même résultat exact que le MLE (car les moments de l'échantillon coïncident souvent avec les moments de la population, par exemple une moyenne d'échantillon est distribuée autour de la moyenne de la population, et jusqu'à un certain facteur / biais, cela fonctionne très bien). Le MLE a une base théorique plus solide et permet par exemple d'estimer les erreurs en utilisant la matrice de Fisher (ou ses estimations), et c'est une approche beaucoup plus naturelle dans le cas de problèmes de régression (je ne l'ai pas essayé mais je suppose que un MoM pour résoudre les paramètres dans une régression linéaire simplene fonctionne pas facilement et peut donner de mauvais résultats. Dans la réponse de superpronker, il semble que cela se fasse par une minimisation d'une fonction. Pour MLE, cette minimisation exprime une probabilité plus élevée, mais je me demande si cela représente une chose similaire pour MoM).

Soorry, je ne peux pas passer de commentaires ..

MLE fait des hypothèses plus strictes (la pleine densité) et est donc généralement moins robuste mais plus efficace si les hypothèses sont remplies

En fait, au MITx " Fundamentals of Statistics ", on nous apprend le contraire, que MoM repose sur une équation spécifique des moments, et si nous prenons la mauvaise densité, nous faisons tout à fait tort, tandis que MLE est plus résilient, comme nous le minimisons dans tous les cas la divergence KD ..