Utilisation de MLE contre OLS

Quand est-il préférable d'utiliser l'estimation du maximum de vraisemblance au lieu des moindres carrés ordinaires? Quelles sont les forces et les limites de chacune? J'essaie de rassembler des connaissances pratiques sur où les utiliser dans des situations courantes.

regression maximum-likelihood least-squares user38133
la source

Réponses:

Comme expliqué ici , OLS n'est qu'une instance particulière de MLE. Voici une question étroitement liée, avec une dérivation de l'OLS en termes de MLE.

La distribution conditionnelle correspond à votre modèle de bruit (pour OLS: gaussien et la même distribution pour toutes les entrées). Il existe d'autres options (t-Student pour gérer les valeurs aberrantes ou permettre à la distribution du bruit de dépendre de l' entrée )

jpmuc
la source

(-1) Ce n'est pas vrai que l'élève

t

$t$ peut compter sur pour traiter les valeurs aberrantes . Voir l'exemple ici ou le chapitre 2 de ce manuel pour plus d'explications.

user603

L'OLS est une méthode d'approximation / estimation minimisant la distance, tandis que ML est une méthode de maximisation de «vraisemblance». OLS n'a pas besoin d'hypothèses stochastiques pour fournir sa solution minimisant la distance, tandis que ML commence par supposer une fonction densité / masse de probabilité conjointe. Le fait que, dans certaines circonstances, les deux fournissent la même solution, cela ne fait en aucun cas de l'un un cas particulier de l'autre.

Alecos Papadopoulos