Lorsque nous voulons estimer des paramètres de régression linéaire, nous faisons des équations normales autant que le modèle linéaire contient un nombre d'inconnues. Pourquoi ces équations sont-elles appelées équations normales?
regression
least-squares
terminology
linear
Rashid Munir
la source
la source
Réponses:
Je vais donner ce qui est peut-être la compréhension la plus courante, puis quelques détails supplémentaires.
Normal est un terme en géométrie (Wikipedia):
qui à son tour semble provenir d'un terme pour un carré de charpentier ou de maçon [1]
et de la géométrie le terme se déplace dans les espaces vectoriels.
La réponse directe pour les «équations normales» est donnée ici: http://mathworld.wolfram.com/NormalEquation.html
(Dans la notation de régression habituelle, c'est 'y- Xb est normal à la plage de X ')
Littéralement, le moindre carré résiduel est perpendiculaire (à angle droit) à l'espace couvert parX .
ley -vecteur réside dans n dimensions. Les portées de la matrice Xp de ceux (ou p + 1 selon la façon dont votre notation est configurée; siX est de rang complet, c'est le nombre de colonnes de X). La solution des moindres carrésXβ^ est le point le plus proche de cet espace X pour que y -vecteur (en effet, littéralement la projection de y sur l'espace enjambé par X ). Il est nécessairement vrai qu'en minimisant la somme des carrés, la différencey- Xβ^ est orthogonale à l'espace couvert par X . (Sinon, il y aurait une solution encore plus petite.)
Cependant, comme le suggère Whuber dans les commentaires, ce n'est pas aussi clair.
En regardant à nouveau [1]:
Cependant, la méthode des équations normales est souvent attribuée à Legendre, 1805.
[1] Miller, J. (ed) "Premiers usages connus de certains mots de mathématiques, N" dans Premiers usages connus de certains mots de mathématiques
la source