Que signifie «linéaire dans les paramètres»?

Le modèle de régression linéaire est linéaire en paramètres.

Qu'est-ce que cela signifie réellement?

Considérons une équation de la forme

$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

où sont les variables et β sont les paramètres. Ici, y est une fonction linéaire de β (linéaire en paramètres) et également une fonction linéaire de x (linéaire en variables). Si vous changez l'équation en$x$$\beta$$\beta$$x$

$y = \beta_0 + \beta_1x_1 + \beta_2x_1^2 + \epsilon$

Ensuite, il n'est plus linéaire en variables (à cause du terme au carré) mais il est toujours linéaire en paramètres. Et pour la régression linéaire (multiple), c'est tout ce qui compte car au final, vous essayez de trouver un ensemble de qui minimise une fonction de perte. Pour cela, vous devez résoudre un système d' équations linéaires . Compte tenu de ses belles propriétés, il a une solution de forme fermée qui nous facilite la vie. Les choses deviennent plus difficiles lorsque vous traitez avec des équations non linéaires.$\beta$

Supposons que vous n'ayez pas affaire à un modèle de régression mais à la place vous avez un problème de programmation mathématique: vous essayez de minimiser une fonction objective de la forme soumise à un ensemble de contraintes: A x ≥ b et x ≥ 0 . Il s'agit d'un problème de programmation linéaire dans le sens où il est linéaire en variables. Contrairement au modèle de régression, vous essayez de trouver un ensemble de x (variables) qui satisfait les contraintes et minimise la fonction objectif. Cela vous demandera également de résoudre des systèmes d'équations linéaires, mais ici, ce sera linéaire en variables. Vos paramètres n'auront aucun effet sur ce système d'équations linéaires.$c^Tx$$Ax \geq b$$x\geq0$$x$

Cela signifie simplement que où A sont les paramètres. Les variables X peuvent contenir des relations non linéaires; par exemple, X = [ $Y = A X$$A$$X$ , encore Y est une fonction linéaire de X .$X = [\alpha\; \alpha \beta\; \beta^2]^T$$Y$$X$

Un modèle est linéaire lorsque chaque terme est soit une constante, soit le produit d'un paramètre et d'un prédicteur. Une équation linéaire est construite en additionnant les résultats pour chaque terme. Cela limite l'équation à une seule forme de base:

$Response = constant + parameter * predictor + ... + parameter * predictor$

"Linéaire dans les paramètres" dans Régression linéaire, signifie qu'aucun paramètre n'apparaît comme exposant, ni multiplié ou divisé par un autre paramètre.