Méthode du maximum de vraisemblance vs méthode des moindres carrés

42

Quelle est la principale différence entre l'estimation du maximum de vraisemblance (EVM) et l'estimation par la méthode des moindres carrés (EVC)?

Pourquoi ne pouvons-nous pas utiliser MLE pour prédire les valeurs dans la régression linéaire et inversement?y

Toute aide sur ce sujet sera grandement appréciée.

evros
la source
8
Vous pouvez utiliser MLE en régression linéaire si vous le souhaitez. Cela peut même avoir un sens si la distribution d'erreur est non normale et si votre objectif est d'obtenir l'estimation "la plus probable" plutôt que celle qui minimise la somme des carrés.
Richard Hardy
16
Sous l'hypothèse d'erreur normale, comme on le suppose généralement dans la régression linéaire, le MLE et le LSE sont identiques!
TrynnaDoStat
1
Recherchez sur notre site le théorème de Gauss-Markov .
whuber
Merci pour toutes vos réponses. Maintenant, cela a du sens. En cherchant ce sujet sur le net, je suis tombé sur cet article. Peut-être que cela aide aussi: radfordneal.wordpress.com/2008/08/09/…
evros
1
Une réponse est également fournie à l' adresse stats.stackexchange.com/questions/12562/… .
whuber

Réponses:

19

J'aimerais donner une réponse simple.

Quelle est la principale différence entre l'estimation du maximum de vraisemblance (EVM) et l'estimation par les moindres carrés (EVC)?

Comme @TrynnaDoStat l'a commenté, minimiser l'erreur quadratique équivaut à maximiser la probabilité dans ce cas. Comme dit dans Wikipedia ,

Dans un modèle linéaire, si les erreurs appartiennent à une distribution normale, les estimateurs des moindres carrés sont également les estimateurs du maximum de vraisemblance.

ils peuvent être considérés comme les mêmes dans votre cas,

y

Yi=λ1Xi+λ2+ϵi where ϵN(0,σ2)

entrez la description de l'image ici
L(Y1,,Yn;λ1,λ2,σ2)=1(2π)n2σnexp(12σ2(i=1n(Yiλ1Xiλ2)2))
i=1n(Yiλ1Xiλ2)2

y

y

Lerner Zhang
la source
3
Vous voudrez peut-être définir «ce cas» un peu plus clairement, car en général, le maximum de vraisemblance et les moindres carrés ne sont pas la même chose.
Matthew Gunn
2
@ MatthewGunn Oui, j'ai utilisé "équivalent à" autre que "le même".
Lerner Zhang
Ce serait bien si vous pouviez nous donner un exemple où le modèle linéaire suit une distribution d'erreur non normale et comment vous utilisez MLE dans un tel cas pour estimer les meilleurs coefficients. Si ce n’est pas possible, vous pouvez au moins nous indiquer une source correcte, ce qui est démontré à l’aide de modèles linéaires tels que la régression de Poisson
VM_AI
12

L1L2

L2L2

  • surveillance des données
  • paramètres stochastiques
  • contraintes faibles

Les applications professionnelles ne tiennent pas uniquement aux données, elles vérifient:

  • si le paramètre est significatif
  • si votre jeu de données a des valeurs aberrantes
  • quelle valeur aberrante peut être tolérée car elle ne nuit pas à la performance
  • quelle mesure devrait être supprimée car elle ne contribue pas au degré de liberté

En outre, il existe un grand nombre de tests statistiques spécialisés pour les hypothèses. Cela ne s’applique pas nécessairement à tous les estimateurs de ML ou devrait au moins être indiqué avec une preuve.

L2

Xβ=L+r(XTX)1L2

N'hésitez pas à demander des détails.

nali
la source