Comment faire la différence entre les modèles de régression linéaire et non linéaire?

Je lisais le lien suivant sur la régression non linéaire SAS non linéaire . Ma compréhension de la lecture de la première section "Régression non linéaire vs régression linéaire" était que l'équation ci-dessous est en fait une régression linéaire, est-ce exact? Si oui, pourquoi?

$$y = b_1x^3 + b_2x^2 + b_3x + c$$

Dois-je également comprendre que dans la régression non linéaire, la multicolinéarité n'est pas un problème? Je sais que la multicolinéarité peut être un problème dans la régression linéaire, donc si le modèle ci-dessus est en fait une régression linéaire, il y aurait multicolinéarité?

Il existe (au moins) trois sens dans lesquels une régression peut être considérée comme «linéaire». Pour les distinguer, commençons par un modèle de régression extrêmement général

$$Y = f(X,\theta,\varepsilon).$$

Pour garder la discussion simple, prenez les variables indépendantes à fixer et à mesurer avec précision (plutôt que des variables aléatoires). Ils modélisent n observations de p attributs chacune, ce qui donne lieu à la n -vector des réponses Y . Conventionnellement, X est représenté comme une matrice n × p et Y comme une colonne n -vecteur. Le ( vecteur fini q ) θ comprend les paramètres . ε est une variable aléatoire à valeur vectorielle. Il a généralement $X$$n$$p$$n$$Y$$X$$n\times p$$Y$$n$$q$$\theta$$\varepsilon$$n$composants, mais a parfois moins. La fonction est de valeur vectorielle (avec n composantes pour correspondre à Y ) et est généralement supposée continue dans ses deux derniers arguments ( θ et ε ).$f$$n$$Y$$\theta$$\varepsilon$

L'exemple archétypal d'ajustement d'une ligne à des données est le cas où X est un vecteur de nombres ( x i$(x,y)$$X$ --les valeurs x; Y est un vecteur parallèle de n nombres ( y i ) ; θ = ( α , β ) donne l'ordonnée à l'origine α et la pente β ; et ε = ( ε 1 , ε 2 , … , ε n$(x_i,\,i=1,2,\ldots,n)$$Y$$n$$(y_i)$$\theta = (\alpha,\beta)$$\alpha$$\beta$$\varepsilon = (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)$est un vecteur "d'erreurs aléatoires" dont les composantes sont indépendantes (et généralement supposées avoir des distributions identiques mais inconnues de zéro moyen). Dans la notation précédente,

$$y_i = \alpha + \beta x_i +\varepsilon_i = f(X,\theta,\varepsilon)_i$$

avec .$\theta = (\alpha,\beta)$

La fonction de régression peut être linéaire dans l'un (ou la totalité) de ses trois arguments:

• "Régression linéaire, ou" modèle linéaire ", signifie généralement que est linéaire en fonction des paramètres θ . La signification SAS de" régression non linéaire " est dans ce sens, avec l'hypothèse supplémentaire que f est différentiable dans son deuxième argument. (les paramètres) Cette hypothèse facilite la recherche de solutions.$f$ $\theta$$f$

• Une « relation linéaire entre et Y » signifie f est linéaire en fonction de X .$X$$Y$$f$$X$

• Un modèle a des erreurs additives lorsque est linéaire dans ε . Dans de tels cas, on suppose toujours que E ( ε ) = 0 . (Sinon, il ne serait pas juste de considérer ε comme des "erreurs" ou des "écarts" par rapport aux valeurs "correctes".)$f$$\varepsilon$$\mathbb{E}(\varepsilon) = 0$$\varepsilon$

Toutes les combinaisons possibles de ces caractéristiques peuvent se produire et sont utiles. Examinons les possibilités.

1. Un modèle linéaire d'une relation linéaire avec des erreurs additives. Il s'agit d'une régression (multiple) ordinaire, déjà présentée ci-dessus et plus généralement écrite comme

   $$Y = X\theta + \varepsilon.$$

   a été augmenté, si nécessaire, en attachant une colonne de constantes, et θ est unvecteur p .$X$$\theta$$p$

2. Un modèle linéaire d'une relation non linéaire avec des erreurs additives. Cela peut être décrit comme une régression multiple en augmentant les colonnes de avec des fonctions non linéaires de X lui-même. Par exemple,$X$$X$

   $$y_i = \alpha + \beta x_i^2 + \varepsilon$$

   est de cette forme. Il est linéaire en ; il a des erreurs additives; et il est linéaire dans les valeurs ( 1 , x 2 i ) même si x 2 i est une fonction non linéaire de x i .$\theta=(\alpha,\beta)$$(1,x_i^2)$$x_i^2$$x_i$

3. Un modèle linéaire d'une relation linéaire avec des erreurs non additives. Un exemple est l'erreur multiplicative,

   $$y_i = (\alpha + \beta x_i)\varepsilon_i.$$

   (Dans de tels cas, les peuvent être interprétés comme des "erreurs multiplicatives" lorsque l'emplacement de ε i est égal à 1. Cependant, le sens exact de l'emplacement n'est plus nécessairement l'attente E ( ε i ) : il peut s'agir de la médiane ou de la moyenne géométrique, par exemple. Un commentaire similaire sur les hypothèses de localisation s'applique, mutatis mutandis , dans tous les autres contextes d'erreur non additive également.)$\varepsilon_i$$\varepsilon_i$$1$$\mathbb{E}(\varepsilon_i)$

4. Un modèle linéaire d'une relation non linéaire avec des erreurs non additives. Par exemple ,

   $$y_i = (\alpha + \beta x_i^2)\varepsilon_i.$$

5. Un modèle non linéaire d'une relation linéaire avec des erreurs additives. Un modèle non linéaire implique des combinaisons de ses paramètres qui non seulement sont non linéaires, mais ne peuvent même pas être linéarisées en ré-exprimant les paramètres.

   • À titre d' exemple, considérez

     $$y_i = \alpha\beta + \beta^2 x_i + \varepsilon_i.$$

     En définissant et β ′ = β 2 , et en restreignant β ′ ≥ 0 , ce modèle peut être réécrit$\alpha^\prime = \alpha\beta$$\beta^\prime=\beta^2$$\beta^\prime \ge 0$

     $$y_i = \alpha^\prime + \beta^\prime x_i + \varepsilon_i,$$

     le présentant comme un modèle linéaire (d'une relation linéaire avec des erreurs additives).

   • Par exemple, considérez

     $$y_i = \alpha + \alpha^2 x_i + \varepsilon_i.$$

     Il est impossible de trouver un nouveau paramètre , en fonction de α , qui le linéarisera en fonction de α ′ (tout en le maintenant également linéaire en x i ).$\alpha^\prime$$\alpha$$\alpha^\prime$$x_i$

6. Un modèle non linéaire d'une relation non linéaire avec des erreurs additives.

   $$y_i = \alpha + \alpha^2 x_i^2 + \varepsilon_i.$$

7. Un modèle non linéaire d'une relation linéaire avec des erreurs non additives.

   $$y_i = (\alpha + \alpha^2 x_i)\varepsilon_i.$$

8. Un modèle non linéaire d'une relation non linéaire avec des erreurs non additives.

   $$y_i = (\alpha + \alpha^2 x_i^2)\varepsilon_i.$$

---

Bien que ceux-ci présentent huit formes de régression distinctes , ils ne constituent pas un système de classification car certaines formes peuvent être converties en d'autres. Un exemple standard est la conversion d'un modèle linéaire avec des erreurs non additives (supposé avoir un support positif)

$$y_i = (\alpha + \beta x_i)\varepsilon_i$$

dans un modèle linéaire d'une relation non linéaire avec des erreurs additives via le logarithme,

$$\log(y_i) = \mu_i + \log(\alpha + \beta x_i) + (\log(\varepsilon_i) - \mu_i)$$

Ici, la moyenne géométrique log a été supprimée des termes d'erreur (pour garantir qu'ils ont des moyennes nulles, comme requis) et incorporée dans les autres termes (où sa valeur devra être estimée ). En effet, une raison majeure pour ré-exprimer la variable dépendante Y est de créer un modèle avec des erreurs additives. La ré-expression peut également linéariser Y en fonction de l'un (ou des deux) des paramètres et des variables explicatives.$\mu_i = \mathbb{E}\left(\log(\varepsilon_i)\right)$$Y$$Y$

---

Colinéarité

La colinéarité (des vecteurs de colonne en ) peut être un problème dans toute forme de régression. La clé pour comprendre cela est de reconnaître que la colinéarité entraîne des difficultés dans l'estimation des paramètres. De manière abstraite et assez générale, comparez deux modèles Y = f ( X , θ , ε ) et Y = f ( X ′ , θ , ε ′ ) où X ′ est X avec une colonne légèrement modifiée. Si cela induit d'énormes changements dans les estimations$X$$Y = f(X,\theta,\varepsilon)$$Y=f(X^\prime,\theta,\varepsilon^\prime)$$X^\prime$$X$ et θ ', ilévidentnous avons un problème. Une façon dont ce problème peut se poser est dans un modèle linéaire, linéaire enX(c'est-à-dire les types (1) ou (5) ci-dessus), où les composantes deθsont en correspondance biunivoque avec les colonnes deX. Lorsqu'une colonne est une combinaison linéaire non triviale des autres, l'estimation de son paramètre correspondant peut être n'importe quel nombre réel. C'est un exemple extrême d'une telle sensibilité.$\hat\theta$$\hat\theta^\prime$$X$$\theta$$X$

De ce point de vue, il devrait être clair que la colinéarité est un problème potentiel pour les modèles linéaires de relations non linéaires (indépendamment de l'additivité des erreurs) et que ce concept généralisé de colinéarité est potentiellement un problème dans tout modèle de régression. Lorsque vous avez des variables redondantes, vous aurez des problèmes pour identifier certains paramètres.

Vous devriez commencer dès maintenant en faisant une différence entre la réalité et le modèle que vous utilisez pour le décrire

L'équation que vous venez de mentionner est une équation polynomiale (puissance x ^) ie. non linéaire ... mais vous pouvez toujours le modéliser en utilisant un modèle linéaire généralisé (en utilisant une fonction de lien) ou une régression polynomail puisque les paramètres sont linéaires (b1, b2, b3, c)

j'espère que cela a aidé, c'est en fait un peu sommaire: réalité / modèle

Un modèle est linéaire s'il est linéaire en paramètres ou peut être transformé pour être linéaire en paramètres (linéarisable). Les modèles linéaires peuvent modéliser des relations linéaires ou non linéaires. Développons chacun de ces éléments.

Un modèle est linéaire dans les paramètres s'il peut être écrit comme la somme des termes, où chaque terme est soit une constante soit un paramètre multipliant un prédicteur (X _i ):

Notez que cette définition est très étroite. Seuls les modèles répondant à cette définition sont linéaires. Tout autre modèle est non linéaire.

Il existe deux types de modèles linéaires qui sont confondus avec les modèles non linéaires:

1. Modèles linéaires de relations non linéaires

Par exemple, le modèle ci-dessous modélise une relation non linéaire (car la dérivée de Y par rapport à X ₁ est fonction de X ₁ ). En créant une nouvelle variable W ₁ = X ₁ ² et en réécrivant l'équation avec W ₁ remplaçant X ₁ ² , nous avons une équation qui satisfait la définition d'un modèle linéaire.

2. Modèles qui ne sont pas immédiatement linéaires mais peuvent devenir linéaires après une transformation (linéarisable). Voici 2 exemples de modèles linéarisables:

Exemple 1:

Ce modèle peut sembler non linéaire car il ne répond pas à la définition d'un modèle qui est linéaire dans les paramètres, mais il peut être transformé en un modèle linéaire donc il est linéarisable / transformable linéaire, et est donc considéré comme linéaire modèle. Les transformations suivantes le linéariseraient. Commencez par prendre le logarithme naturel des deux côtés pour obtenir:

puis effectuez les substitutions suivantes:

pour obtenir le modèle linéaire ci-dessous:

Exemple 2:

Ce modèle peut sembler non linéaire car il ne répond pas à la définition d'un modèle qui est linéaire dans les paramètres, mais il peut être transformé en un modèle linéaire donc il est linéarisable / transformable linéaire, et est donc considéré comme linéaire modèle. Les transformations suivantes le linéariseraient. Commencez par prendre l'inverse des deux côtés pour obtenir:

puis effectuez les substitutions suivantes:

pour obtenir le modèle linéaire ci-dessous:

Tout modèle qui n'est pas linéaire (même par linéarisation) n'est pas linéaire. Pensez-y de cette façon: si un modèle ne répond pas à la définition d'un modèle linéaire, alors c'est un modèle non linéaire, à moins qu'il puisse être prouvé qu'il est linéarisable, auquel cas il gagne le droit d'être appelé modèle linéaire.

La réponse de Whuber ci-dessus ainsi que la réponse de Glen_b dans ce lien ajouteront plus de couleur à ma réponse. Modèle linéaire non linéaire ou généralisé: comment référez-vous à la régression logistique, Poisson, etc.?