MLE vs moindres carrés dans l'ajustement des distributions de probabilité

18

L'impression que j'ai eue, sur la base de plusieurs articles, livres et articles que j'ai lus, est que la manière recommandée d'ajuster une distribution de probabilité sur un ensemble de données consiste à utiliser l'estimation du maximum de vraisemblance (MLE). Cependant, en tant que physicien, une manière plus intuitive consiste à simplement ajuster le pdf du modèle au pdf empirique des données en utilisant les moindres carrés. Pourquoi alors le MLE est-il meilleur que les moindres carrés pour ajuster les distributions de probabilité? Quelqu'un pourrait-il me signaler un document / livre scientifique qui répond à cette question?

Mon intuition est que MLE ne suppose pas un modèle de bruit et que le "bruit" dans le pdf empirique est hétéroscédastique et n'est pas normal.

Christian Alis
la source

Réponses:

2

Une façon utile de penser à ce sujet est de noter qu'il existe des cas où les moindres carrés et le MLE sont identiques, par exemple en estimant les paramètres où l'élément aléatoire a une distribution normale. Donc, en fait, plutôt que (comme vous le spéculez) que le MLE n'assume pas un modèle de bruit, ce qui se passe, c'est qu'il suppose qu'il y a du bruit aléatoire, mais adopte une vue plus sophistiquée de la façon dont cela est façonné plutôt que de le supposer. a une distribution normale.

Tout manuel sur l'inférence statistique traitera des belles propriétés des MLE en termes d'efficacité et de cohérence (mais pas nécessairement de biais). Les MLE ont également la belle propriété d'être eux-mêmes asymptotiquement normaux dans un ensemble raisonnable de conditions.

Peter Ellis
la source
ce que je veux dire par "ne suppose pas un modèle de bruit aléatoire", c'est qu'il ne suppose pas que le bruit a une distribution définie, par exemple, normale. Pourriez-vous indiquer un livre qui traite de l'estimation des paramètres en ajustant le PDF en utilisant les moindres carrés? Les livres que j'ai trouvés ne traitent que du MLE (et parfois de la méthode des moments).
Christian Alis
Pour s'adapter à MLE, vous devez toujours supposer une distribution définie, mais vous avez un choix plus large que la normale. Juste pour choisir le premier livre à la main qui discute des deux, j'ai Garthwaite, Jolliffe et Jones Statistical Inference (un livre de texte uni assez standard de deuxième année) qui discute des moindres carrés ainsi que de la méthode des moments et de la méthode du Chi carré minimum comme alternatives aux MLE.
Peter Ellis