Comment faire la différence entre les modèles de régression linéaire et non linéaire?

27

Je lisais le lien suivant sur la régression non linéaire SAS non linéaire . Ma compréhension de la lecture de la première section "Régression non linéaire vs régression linéaire" était que l'équation ci-dessous est en fait une régression linéaire, est-ce exact? Si oui, pourquoi?

y=b1x3+b2x2+b3x+c

Dois-je également comprendre que dans la régression non linéaire, la multicolinéarité n'est pas un problème? Je sais que la multicolinéarité peut être un problème dans la régression linéaire, donc si le modèle ci-dessus est en fait une régression linéaire, il y aurait multicolinéarité?

mHelpMe
la source
Étroitement liés: stats.stackexchange.com/questions/33876 .
whuber
Également lié: Que signifie «curviligne»?
gung - Rétablir Monica

Réponses:

35

Il existe (au moins) trois sens dans lesquels une régression peut être considérée comme «linéaire». Pour les distinguer, commençons par un modèle de régression extrêmement général

Y=f(X,θ,ε).

Pour garder la discussion simple, prenez les variables indépendantes à fixer et à mesurer avec précision (plutôt que des variables aléatoires). Ils modélisent n observations de p attributs chacune, ce qui donne lieu à la n -vector des réponses Y . Conventionnellement, X est représenté comme une matrice n × p et Y comme une colonne n -vecteur. Le ( vecteur fini q ) θ comprend les paramètres . ε est une variable aléatoire à valeur vectorielle. Il a généralement nXnpnYXn×pYnqθεncomposants, mais a parfois moins. La fonction est de valeur vectorielle (avec n composantes pour correspondre à Y ) et est généralement supposée continue dans ses deux derniers arguments ( θ et ε ).fnYθε

L'exemple archétypal d'ajustement d'une ligne à des données est le cas où X est un vecteur de nombres ( x i ,(x,y)X --les valeurs x; Y est un vecteur parallèle de n nombres ( y i ) ; θ = ( α , β ) donne l'ordonnée à l'origine α et la pente β ; et ε = ( ε 1 , ε 2 , , ε n )(xi,i=1,2,,n)Yn(yi)θ=(α,β)αβε=(ε1,ε2,,εn)est un vecteur "d'erreurs aléatoires" dont les composantes sont indépendantes (et généralement supposées avoir des distributions identiques mais inconnues de zéro moyen). Dans la notation précédente,

yi=α+βxi+εi=f(X,θ,ε)i

avec .θ=(α,β)

La fonction de régression peut être linéaire dans l'un (ou la totalité) de ses trois arguments:

  • "Régression linéaire, ou" modèle linéaire ", signifie généralement que est linéaire en fonction des paramètres θ . La signification SAS de" régression non linéaire " est dans ce sens, avec l'hypothèse supplémentaire que f est différentiable dans son deuxième argument. (les paramètres) Cette hypothèse facilite la recherche de solutions.f θf

  • Une « relation linéaire entre et Y » signifie f est linéaire en fonction de X .XYfX

  • Un modèle a des erreurs additives lorsque est linéaire dans ε . Dans de tels cas, on suppose toujours que E ( ε ) = 0 . (Sinon, il ne serait pas juste de considérer ε comme des "erreurs" ou des "écarts" par rapport aux valeurs "correctes".)fεE(ε)=0ε

Toutes les combinaisons possibles de ces caractéristiques peuvent se produire et sont utiles. Examinons les possibilités.

  1. Un modèle linéaire d'une relation linéaire avec des erreurs additives. Il s'agit d'une régression (multiple) ordinaire, déjà présentée ci-dessus et plus généralement écrite comme

    Y=Xθ+ε.

    a été augmenté, si nécessaire, en attachant une colonne de constantes, et θ est unvecteur p .Xθp

  2. Un modèle linéaire d'une relation non linéaire avec des erreurs additives. Cela peut être décrit comme une régression multiple en augmentant les colonnes de avec des fonctions non linéaires de X lui-même. Par exemple,XX

    yi=α+βxi2+ε

    est de cette forme. Il est linéaire en ; il a des erreurs additives; et il est linéaire dans les valeurs ( 1 , x 2 i ) même si x 2 i est une fonction non linéaire de x i .θ=(α,β)(1,xi2)xi2xi

  3. Un modèle linéaire d'une relation linéaire avec des erreurs non additives. Un exemple est l'erreur multiplicative,

    yi=(α+βxi)εi.

    (Dans de tels cas, les peuvent être interprétés comme des "erreurs multiplicatives" lorsque l'emplacement de ε i est égal à 1. Cependant, le sens exact de l'emplacement n'est plus nécessairement l'attente E ( ε i ) : il peut s'agir de la médiane ou de la moyenne géométrique, par exemple. Un commentaire similaire sur les hypothèses de localisation s'applique, mutatis mutandis , dans tous les autres contextes d'erreur non additive également.)εiεi1E(εi)

  4. Un modèle linéaire d'une relation non linéaire avec des erreurs non additives. Par exemple ,

    yi=(α+βxi2)εi.
  5. Un modèle non linéaire d'une relation linéaire avec des erreurs additives. Un modèle non linéaire implique des combinaisons de ses paramètres qui non seulement sont non linéaires, mais ne peuvent même pas être linéarisées en ré-exprimant les paramètres.

    • À titre d' exemple, considérez

      yi=αβ+β2xi+εi.

      En définissant et β = β 2 , et en restreignant β 0 , ce modèle peut être réécritα=αββ=β2β0

      yi=α+βxi+εi,

      le présentant comme un modèle linéaire (d'une relation linéaire avec des erreurs additives).

    • Par exemple, considérez

      yje=α+α2Xje+εje.

      Il est impossible de trouver un nouveau paramètre , en fonction de α , qui le linéarisera en fonction de α (tout en le maintenant également linéaire en x i ).αααXje

  6. Un modèle non linéaire d'une relation non linéaire avec des erreurs additives.

    yje=α+α2Xje2+εje.
  7. Un modèle non linéaire d'une relation linéaire avec des erreurs non additives.

    yje=(α+α2Xje)εje.
  8. Un modèle non linéaire d'une relation non linéaire avec des erreurs non additives.

    yje=(α+α2Xje2)εje.

Bien que ceux-ci présentent huit formes de régression distinctes , ils ne constituent pas un système de classification car certaines formes peuvent être converties en d'autres. Un exemple standard est la conversion d'un modèle linéaire avec des erreurs non additives (supposé avoir un support positif)

yje=(α+βXje)εje

dans un modèle linéaire d'une relation non linéaire avec des erreurs additives via le logarithme,

bûche(yje)=μje+bûche(α+βXje)+(bûche(εje)-μje)

Ici, la moyenne géométrique log a été supprimée des termes d'erreur (pour garantir qu'ils ont des moyennes nulles, comme requis) et incorporée dans les autres termes (où sa valeur devra être estimée ). En effet, une raison majeure pour ré-exprimer la variable dépendante Y est de créer un modèle avec des erreurs additives. La ré-expression peut également linéariser Y en fonction de l'un (ou des deux) des paramètres et des variables explicatives.μje=E(bûche(εje))OuiOui


Colinéarité

La colinéarité (des vecteurs de colonne en ) peut être un problème dans toute forme de régression. La clé pour comprendre cela est de reconnaître que la colinéarité entraîne des difficultés dans l'estimation des paramètres. De manière abstraite et assez générale, comparez deux modèles Y = f ( X , θ , ε ) et Y = f ( X , θ , ε )X est X avec une colonne légèrement modifiée. Si cela induit d'énormes changements dans les estimationsXOui=F(X,θ,ε)Oui=F(X,θ,ε)XX et θ ', ilévidentnous avons un problème. Une façon dont ce problème peut se poser est dans un modèle linéaire, linéaire enX(c'est-à-dire les types (1) ou (5) ci-dessus), où les composantes deθsont en correspondance biunivoque avec les colonnes deX. Lorsqu'une colonne est une combinaison linéaire non triviale des autres, l'estimation de son paramètre correspondant peut être n'importe quel nombre réel. C'est un exemple extrême d'une telle sensibilité.θ^θ^XθX

De ce point de vue, il devrait être clair que la colinéarité est un problème potentiel pour les modèles linéaires de relations non linéaires (indépendamment de l'additivité des erreurs) et que ce concept généralisé de colinéarité est potentiellement un problème dans tout modèle de régression. Lorsque vous avez des variables redondantes, vous aurez des problèmes pour identifier certains paramètres.

whuber
la source
pouvez-vous recommander une lecture introductive concise qui m'aidera à mieux comprendre la linéarisation que vous mentionnez, qui est au cœur de la différence entre votre exemple et le non-exemple au point 5. Merci.
ColorStatistics
@Color, je n'en connais aucun. Sous des hypothèses légères sur la différentiabilité des transformations possibles, cela est traité par la théorie des équations aux dérivées partielles (PDE).
whuber
0

Vous devriez commencer dès maintenant en faisant une différence entre la réalité et le modèle que vous utilisez pour le décrire

L'équation que vous venez de mentionner est une équation polynomiale (puissance x ^) ie. non linéaire ... mais vous pouvez toujours le modéliser en utilisant un modèle linéaire généralisé (en utilisant une fonction de lien) ou une régression polynomail puisque les paramètres sont linéaires (b1, b2, b3, c)

j'espère que cela a aidé, c'est en fait un peu sommaire: réalité / modèle

Po Stulat
la source
3
Cela peut être estimé via les moindres carrés ordinaires car le modèle est linéaire dans les paramètres.
Analyste
donc tout à voir avec les paramètres? si nous b3 ^ 2 * x ce serait encore linéaire?
mHelpMe
0

Un modèle est linéaire s'il est linéaire en paramètres ou peut être transformé pour être linéaire en paramètres (linéarisable). Les modèles linéaires peuvent modéliser des relations linéaires ou non linéaires. Développons chacun de ces éléments.

Un modèle est linéaire dans les paramètres s'il peut être écrit comme la somme des termes, où chaque terme est soit une constante soit un paramètre multipliant un prédicteur (X i ):

entrez la description de l'image ici

Notez que cette définition est très étroite. Seuls les modèles répondant à cette définition sont linéaires. Tout autre modèle est non linéaire.

Il existe deux types de modèles linéaires qui sont confondus avec les modèles non linéaires:

1. Modèles linéaires de relations non linéaires

Par exemple, le modèle ci-dessous modélise une relation non linéaire (car la dérivée de Y par rapport à X 1 est fonction de X 1 ). En créant une nouvelle variable W 1 = X 1 2 et en réécrivant l'équation avec W 1 remplaçant X 1 2 , nous avons une équation qui satisfait la définition d'un modèle linéaire.

entrez la description de l'image ici

2. Modèles qui ne sont pas immédiatement linéaires mais peuvent devenir linéaires après une transformation (linéarisable). Voici 2 exemples de modèles linéarisables:

Exemple 1:

entrez la description de l'image ici

Ce modèle peut sembler non linéaire car il ne répond pas à la définition d'un modèle qui est linéaire dans les paramètres, mais il peut être transformé en un modèle linéaire donc il est linéarisable / transformable linéaire, et est donc considéré comme linéaire modèle. Les transformations suivantes le linéariseraient. Commencez par prendre le logarithme naturel des deux côtés pour obtenir:

entrez la description de l'image ici

puis effectuez les substitutions suivantes:

entrez la description de l'image ici

pour obtenir le modèle linéaire ci-dessous:

entrez la description de l'image ici

Exemple 2:

entrez la description de l'image ici

Ce modèle peut sembler non linéaire car il ne répond pas à la définition d'un modèle qui est linéaire dans les paramètres, mais il peut être transformé en un modèle linéaire donc il est linéarisable / transformable linéaire, et est donc considéré comme linéaire modèle. Les transformations suivantes le linéariseraient. Commencez par prendre l'inverse des deux côtés pour obtenir:

entrez la description de l'image ici

puis effectuez les substitutions suivantes:

entrez la description de l'image ici

pour obtenir le modèle linéaire ci-dessous:

entrez la description de l'image ici

Tout modèle qui n'est pas linéaire (même par linéarisation) n'est pas linéaire. Pensez-y de cette façon: si un modèle ne répond pas à la définition d'un modèle linéaire, alors c'est un modèle non linéaire, à moins qu'il puisse être prouvé qu'il est linéarisable, auquel cas il gagne le droit d'être appelé modèle linéaire.

La réponse de Whuber ci-dessus ainsi que la réponse de Glen_b dans ce lien ajouteront plus de couleur à ma réponse. Modèle linéaire non linéaire ou généralisé: comment référez-vous à la régression logistique, Poisson, etc.?

ColorStatistics
la source