OLS vs maximum de vraisemblance sous distribution normale en régression linéaire

8

J'ai trouvé que pour un modèle de régression linéaire simple, OLS et la méthode du maximum de vraisemblance (en supposant une distribution normale) donnent le même résultat (valeurs des paramètres). À partir de là, pouvons-nous dire que l'OLS fait également des hypothèses implicites sur la distribution normale ou vice-versa? Je ne suis pas intéressé par la raison pour laquelle les deux produisent la même valeur, mais laquelle émet des hypothèses moins strictes sur les données?

regression normal-distribution maximum-likelihood least-squares Neeraj
la source

Réponses:

6

OLS ne fait pas d'hypothèse de normalité pour les erreurs de modèle. L'OLS peut être utilisé sous différentes hypothèses de distribution et l'estimateur aura toujours un sens en tant qu'estimateur linéaire sans biais de variance minimale.

Le maximum de vraisemblance (ML) peut également s'adapter à différentes distributions, mais la distribution doit être choisie à l'avance. Si la distribution réelle semble être différente de la distribution supposée, l'estimateur ML n'aura plus de sens en tant qu'estimateur qui maximise la densité de probabilité conjointe des données.

Ainsi, nous pouvons dire que dans une application particulière, ML fait une hypothèse plus stricte sur les erreurs de modèle que OLS.

Richard Hardy
la source
Merci @RihchardHardy ..... pouvez-vous s'il vous plaît expliquer ce que cela signifie, "OLS peut être utilisé sous différentes hypothèses de distribution"? Parce que, à ma connaissance, OLS ne fait aucune hypothèse sur les données, il ne fait que minimiser la somme des carrés des résidus.
Neeraj
Tu as raison. Cela devait signifier "Quelle que soit l'hypothèse de distribution, le cas échéant, que vous faites, l'OLS ira bien".
Richard Hardy
@merci RichardHardy. Cela signifie que la probabilité maximale est aussi bonne que l'hypothèse de distribution. Mais cela signifie-t-il que pour le modèle de régression linéaire, OLS est toujours meilleur que ML?
Neeraj
1
Ce qui est mieux dépend de votre fonction objective (ou fonction de perte). 1. Si vous voulez maximiser la densité de probabilité conjointe des erreurs, la probabilité maximale est votre choix (mais vous devez vérifier dans quelle mesure les résidus du modèle correspondent à l'hypothèse de distribution). De plus, la probabilité maximale peut toujours fonctionner même si la distribution des erreurs n'est pas adaptée; le mot clé ici est la probabilité quasi maximale. 2. Si vous souhaitez minimiser la somme des résidus au carré, optez pour OLS.
Richard Hardy
1
Je pense que c'est une question d'interprétation. OLS et MLE ont des objectifs différents. Cependant, incidemment OLS et MLE sont les mêmes dans une distribution normale. Cela peut-il être interprété comme l'OLS sans le savoir en utilisant l'hypothèse de nomalité? Peut-être, mais je ne le dirais pas ainsi. L'OLS n'est pas basé sur elle ni n'a pour objectif de maximiser la probabilité. Je dirais que c'est une coïncidence. En général, vous pouvez poser une nouvelle question plutôt que de la poser dans les commentaires. Idéalement, les commentaires devraient être étroitement liés au PO ou à la réponse, tandis qu'une discussion plus large pourrait mériter de nouvelles questions et de nouvelles réponses.
Richard Hardy