«Moindres carrés» et «Régression linéaire», sont-ils synonymes?

12

Quelle est la différence entre les moindres carrés et la régression linéaire? Est-ce la même chose?

regression least-squares terminology bbadyalina
la source
4
Je dirais que les moindres carrés ordinaires sont une méthode d'estimation dans la catégorie plus large de la régression linéaire . Il est possible cependant que certains auteurs utilisent les «moindres carrés» et la «régression linéaire» comme s'ils étaient interchangeables.
Matthew Gunn
1
Si vous faites des moindres carrés ordinaires , j'utiliserais ce terme. C'est moins ambigu.
Matthew Gunn
1
Voir aussi ce qu'est un modèle de régression .
Richard Hardy

Réponses:

22

La régression linéaire suppose une relation linéaire entre la variable indépendante et la variable dépendante. Il ne vous dit pas comment le modèle est monté. L'ajustement le moins carré est simplement l'une des possibilités. D'autres méthodes pour former un modèle linéaire sont dans le commentaire.

Les moindres carrés non linéaires sont courants ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Par exemple, l'algorithme Levenberg – Marquardt populaire résout quelque chose comme:

β^=argminβ⁡S(β)≡argminβ⁡∑i=1m[yi−f(xi,β)]2

Il s'agit d'une optimisation par moindres carrés mais le modèle n'est pas linéaire.

Ce n'est pas la même chose .

Bonjour le monde
la source
13

En plus de la bonne réponse de @Student T, je tiens à souligner que les moindres carrés sont une fonction de perte potentielle pour un problème d'optimisation, tandis que la régression linéaire est un problème d'optimisation.

Étant donné un certain ensemble de données, une régression linéaire est utilisée pour trouver la meilleure fonction linéaire possible, ce qui explique le lien entre les variables.

Dans ce cas, le "meilleur" possible est déterminé par une fonction de perte, en comparant les valeurs prédites d'une fonction linéaire avec les valeurs réelles dans l'ensemble de données. Les moindres carrés sont une fonction de perte possible.

L'article wikipedia des moindres carrés montre également des images sur le côté droit qui montrent l'utilisation des moindres carrés pour d'autres problèmes que la régression linéaire tels que:

  • conique
  • fonction quadratique ajustée

Le gif suivant de l'article de wikipedia montre plusieurs fonctions polynomiales différentes adaptées à un ensemble de données utilisant les moindres carrés. Un seul d'entre eux est linéaire (polynôme de 1). Ceci est tiré de l' article de Wikipédia allemand sur le sujet.

entrez la description de l'image ici

Nikolas Rieble
la source
2
Nous pouvons affirmer que les exemples non linéaires dans l'animation sont en fait toujours linéaires dans les paramètres.
Firebug
2
Certes, la relation de modèle entre la cible et la variable d'entrée n'est pas linéaire. Pourriez-vous encore appeler la "régression linéaire" appropriée? Je ne voudrais pas.
Nikolas Rieble
4
Nous devons distinguer les «moindres carrés linéaires» de la «régression linéaire», car l'adjectif «linéaire» dans les deux se réfère à des choses différentes. Le premier fait référence à un ajustement qui est linéaire dans les paramètres, et le second fait référence à l'ajustement à un modèle qui est une fonction linéaire de la ou des variables indépendantes.
JM n'est pas statisticien le
3
@JM De nombreuses sources soutiennent que "linéaire" dans la régression "linéaire" signifie "linéaire dans les paramètres" plutôt "linéaire dans les IV". L'article de WIkipedia sur la régression linéaire en est un exemple est un exemple. Voici un autre et un autre . De nombreux textes statistiques font de même; Je dirais que c'est une convention.
Glen_b -Reinstate Monica
1
y=mX+b