Les moindres carrés en sont souvent appelés moindres carrés ordinaires (OLS) car il s'agit de la toute première procédure statistique à être développée vers 1800, voir l'histoire . Cela revient à minimiser la norme , . Par la suite, moindres carrés pondérés, minimisation d'autres normes (par exemple, ), moindres carrés généralisés , estimation M , minimisation bivariée (par exemple, régression de Deming), régression non paramétrique, régression du maximum de vraisemblance, régularisation (par exemple, Tikhonov, crête) et d'autres techniques de problèmes inverses et plusieurs autres outils ont été développés. Il y a encore une controverse sur qui l'a appliqué en premier, Gauss ou Legendre (voiryL2||Y−f(X)||2L1lien ). Le terme "ordinaire" (impliquant en ) n'a évidemment été ajouté aux "moindres carrés" qu'après l'apparition de tant de méthodes alternatives que l'OLS (toujours le plus populaire) devait être différencié de la pléthore d'autres minimisations devenues disponibles. Lors de l'ajout exact d' ordinaires moindres carrés, il serait difficile de retracer, car cela s'est produit lorsqu'il est devenu naturel ou évident de le faire.y+