Régression linéaire: toute distribution non normale donnant l'identité de l'OLS et du MLE?

Cette question est inspirée de la longue discussion dans les commentaires ici: Comment la régression linéaire utilise-t-elle la distribution normale?

Dans le modèle de régression linéaire habituel, pour plus de simplicité, écrit ici avec un seul prédicteur: où les sont des constantes connues et sont des termes d'erreur indépendants de moyenne nulle. Si nous supposons en outre des distributions normales pour les erreurs, alors les estimateurs des moindres carrés habituels et les estimateurs du maximum de vraisemblance de sont identiques.x i ϵ i β 0 , β

$$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$ $x_i$$\epsilon_i$$\beta_0, \beta_1$

Donc ma question facile: existe-t-il une autre distribution pour les termes d'erreur telle que les mle soient identiques à l'estimateur des moindres carrés ordinaires? La première implication est facile à montrer, l'autre pas.

Dans l'estimation du maximum de vraisemblance, nous calculons

$$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$$

la dernière relation prenant en compte la structure de linéarité de l'équation de régression.

En comparaison, l'estimateur OLS satisfait

$$\sum \epsilon_i\mathbf x_i = \mathbf 0$$

Afin d'obtenir des expressions algébriques identiques pour les coefficients de pente, nous devons avoir une densité pour le terme d'erreur telle que

$$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$$

Ce sont des équations différentielles de la forme qui ont des solutions$y' = \pm\; xy$

$$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$$

$$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$$

Toute fonction qui possède ce noyau et s'intègre à l'unité sur un domaine approprié, rendra identiques le MLE et l'OLS pour les coefficients de pente. A savoir que nous recherchons

$$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$$

Y a-t-il un tel qui n'est pas la densité normale (ou la demi-normale ou la dérivée de la fonction d'erreur)? $g$

Certainement. Mais une autre chose à considérer est la suivante: si on utilise le signe plus dans l'exposant, et un support symétrique autour de zéro par exemple, on obtiendra une densité qui a un minimum unique au milieu, et deux maxima locaux à les limites du support.

$$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$$ $f(y|x,\beta_0,\beta_1)$ $$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$$ $$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$$ $f_0(y|x)$$(\beta_0,\beta_1)$

$\mathbf{y}$

$$h(||\mathbf{y}-\mathbf{X}\beta||)$$ $h(\cdot)$$\epsilon_i$

Je ne savais pas à propos de cette question jusqu'à ce que @ Xi'an vient de mettre à jour avec une réponse. Il existe une solution plus générique. Les distributions de familles exponentielles avec certains paramètres fixaient les divergences de Bregman. Pour de telles distributions, la moyenne est le minimiseur. Le minimiseur OLS est également la moyenne. Par conséquent, pour toutes ces distributions, elles devraient coïncider lorsque la fonction linéaire est liée au paramètre moyen.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf