Estimation de la régression linéaire avec OLS vs ML

8

Supposons que je vais estimer une régression linéaire où je suppose . Quel est l'avantage d'OLS par rapport à l'estimation ML? Je sais que nous devons connaître une distribution de lorsque nous utilisons des méthodes ML, mais comme je suppose que que j'utilise ML ou OLS, ce point ne semble pas pertinent. Ainsi, le seul avantage de l'OLS devrait être dans les caractéristiques asymptotiques des estimateurs . Ou avons-nous d'autres avantages de la méthode OLS? $u\sim N(0,\sigma^2)$ $u$ $u\sim N(0,\sigma^2)$ $\beta$

regression least-squares linear-model MarkDollar
la source

14

En utilisant les notations habituelles, la log-vraisemblance de la méthode ML est

$l(\beta_0, \beta_1 ; y_1, \ldots, y_n) = \sum_{i=1}^n \left\{ -\frac{1}{2} \log (2\pi\sigma^2) - \frac{(y_{i} - (\beta_0 + \beta_1 x_{i}))^{2}}{2 \sigma^2} \right\}$ .

Il doit être maximisé par rapport à et . $\beta_0$ $\beta_1$

Mais, il est facile de voir que cela équivaut à minimiser

$\sum_{i=1}^{n} (y_{i} - (\beta_0 + \beta_1 x_{i}))^{2}$ .

Par conséquent, ML et OLS conduisent à la même solution.

Plus de détails sont fournis dans ces belles notes de cours .

ocram
la source

Merci pour votre réponse ocram. Il est clair que les deux méthodes conduisent à la même solution. Mais l'OLS devrait être plus puissant puisque les estimateurs sont plus efficaces que les estimateurs ML, non? Je m'interroge sur les différences et les avantages des deux méthodes dans le contexte lorsque l'on suppose et je suis intéressé par les caractéristiques des estimateurs. Les valeurs de sont identiques, mais je pense que les caractéristiques asymptotiques des estimateurs OLS sont préférables. grosso modo: si ML et OLS donnent les mêmes résultats et caractéristiques des estimateurs, pourquoi devrions-nous utiliser OLS?

u \sim N (0, σ^{2})

$u\sim N(0,\sigma^2)$

β

$\beta$

MarkDollar

10

L'estimateur du maximum de vraisemblance est OLS. Comme ils sont exactement les mêmes, ils auront les mêmes propriétés asymptotiques.

Simon Byrne

4

Vous vous concentrez sur la mauvaise partie du concept dans votre question. La beauté des moindres carrés est qu'elle donne une réponse facile et agréable, quelle que soit la distribution, et si la vraie distribution se trouve être normale, alors c'est aussi la réponse de vraisemblance maiximum (je pense que c'est la réponse de Gauss-Markov). Lorsque vous avez une distribution autre que la normale, ML et OLS donneront des réponses différentes (mais si la vraie distribution est proche de la normale, les réponses seront similaires).

Greg Snow
la source

0

la seule différence pour les échantillons finis est que l'estimateur ML pour la variance résiduelle est biaisé. Il ne tient pas compte du nombre de régresseurs utilisés dans le modèle.

Druss2k
la source

Estimation de la régression linéaire avec OLS vs ML

Réponses: