Pourquoi les méthodes de régression par moindres carrés et probabilité maximale ne sont-elles pas équivalentes alors que les erreurs ne sont pas normalement distribuées?

Le titre dit tout. Je comprends que les moindres carrés et le maximum de vraisemblance donneront le même résultat pour les coefficients de régression si les erreurs du modèle sont normalement distribuées. Mais que se passe-t-il si les erreurs ne sont pas normalement distribuées? Pourquoi les deux méthodes ne sont-elles plus équivalentes?

Réponse courte

La densité de probabilité d'une variable distribuée gaussienne multivariée , avec une moyenne est liée au carré de l'euclidienne distance entre la moyenne et la variable ( ), c'est-à-dire la somme des carrés.$x=(x_1, x_2,...,x_n)$$\mu=(\mu_1,\mu_2,...,\mu_n)$$\vert \mu-x \vert_2^2$

---

Longue réponse

Si vous multipliez plusieurs distributions gaussiennes pour vos erreurs, où vous supposez des écarts égaux, vous obtenez une somme de carrés.$n$

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

ou sous la forme logarithmique pratique:

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

Donc, optimiser le pour minimiser la somme des carrés équivaut à maximiser la vraisemblance (log) (c'est-à-dire le produit de plusieurs distributions gaussiennes ou la distribution gaussienne multivariée).$\mu$

C'est ce carré imbriqué de la différence intérieur de la structure exponentielle, , que les autres distributions n'ont pas.$(\mu-x)$$exp\left[ (x_i-\mu)^2 \right]$

---

Comparer par exemple avec le cas des distributions de Poisson

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

qui a un maximum lorsque les éléments suivants sont minimisés:

$$\sum \mu_j -log(\mu_j) x_{ij}$$

qui est une bête différente.

---

De plus (historique)

L'histoire de la distribution normale (en ignorant que deMoivre arrive à cette distribution comme approximation de la distribution binomiale) est en fait la découverte de la distribution qui fait que le MLE correspond à la méthode des moindres carrés (plutôt que la méthode des moindres carrés étant une méthode qui peut exprimer le MLE de la distribution normale, d'abord la méthode des moindres carrés, puis la distribution gaussienne)

Notez que Gauss, reliant la «méthode du maximum de vraisemblance» à la «méthode des moindres carrés», a abouti à la «distribution gaussienne», , comme la seule distribution des erreurs qui nous amène à faire ce lien entre les deux méthodes.$e^{-x^2}$

De la traduction de Charles Henry Davis (Théorie du mouvement des corps célestes se déplaçant autour du soleil en sections coniques. Une traduction du "Theoria motus" de Gauss avec une annexe) ...

Gauss définit:

En conséquence, la probabilité à attribuer à chaque erreur sera exprimée par une fonction de que nous désignerons par .$\Delta$$\Delta$$\psi \Delta$

^{(Italisation faite par moi)}

Et continue ( à l'article 177 pp. 258 ):

... d'où il est facilement déduit que doit être une quantité constante. que nous désignerons par . Nous avons donc désignant la base des logarithmes hyperboliques par et supposant$\frac{\psi^\prime\Delta}{\Delta}$$k$

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ $e$ $$\text{Constant} = \log x$$

finir (après normalisation et réaliser ) dans$k<0$

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

Écrit par StackExchangeStrike

Parce que le MLE est dérivé de l'hypothèse de résiduel normalement distribué.

Notez que

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

N'a pas de signification probabiliste : il suffit de trouver la qui minimise la fonction de perte au carré. Tout est déterministe, et il n'y a pas de composants aléatoires là-dedans.$\beta$

Lorsque le concept de probabilité et de vraisemblance vient, nous supposons

$$y=X\beta + \epsilon$$

Où nous considérons comme une variable aléatoire, et est normalement distribué.$y$$\epsilon$

Les moindres carrés et l'ajustement de vraisemblance maximum (gaussien) sont toujours équivalents. Autrement dit, ils sont minimisés par le même ensemble de coefficients.

La modification de l'hypothèse sur les erreurs modifie votre fonction de vraisemblance (maximiser la probabilité d'un modèle équivaut à maximiser la probabilité du terme d'erreur), et donc la fonction ne sera plus minimisée par le même ensemble de coefficients.

Donc, en pratique, les deux sont les mêmes, mais en théorie, lorsque vous maximisez une probabilité différente, vous obtiendrez une réponse différente de celle des moindres carrés

Un exemple concret: Supposons que nous prenons une fonction d'erreur simple p (1) =. 9, p (-9) = .10. Si nous prenons deux points, LS va juste prendre la ligne à travers eux. ML, d'autre part, va supposer que les deux points sont une unité trop haute, et prendra donc la ligne à travers les points décalés vers le bas sur l'unité.