Que signifie linéaire dans la régression linéaire?

11

En R, si j'écris

lm(a ~ b + c + b*c) 

serait-ce encore une régression linéaire?

Comment faire d'autres types de régression en R? J'apprécierais toute recommandation de manuels ou de tutoriels?

suprvisr
la source
J'ai essayé de reformuler un peu votre question. Je crains qu'il semble que vous posiez deux questions très différentes. Pour le second, de nombreuses ressources sont disponibles sur ce site, mais aussi sur CRAN .
chl
@chl, oui, merci, je n'étais pas clair. Ma question est vraiment la suivante: si j'écris LM dans R, R le comprend-il toujours comme linéaire ou essaie-t-il de s'adapter à n'importe quel modèle, pas nécessairement une régression linéaire mais une régression?
suprvisr
Non, lm()représente une régression linéaire. Votre modèle comprend trois paramètres (moins l'ordonnée à l'origine) pour b, cet leur interaction b:c, qui signifie b + c + b:cou b*cpour court (R suit la notation de Wilkinson pour les modèles statistiques). L'ajustement d'un modèle linéaire généralisé (c'est-à-dire lorsque la fonction de lien n'est pas une identité, comme c'est le cas pour le modèle linéaire exprimé ci-dessus) est demandé via glm().
chl

Réponses:

24

Linéaire fait référence à la relation entre les paramètres que vous estimez (par exemple, ) et le résultat (par exemple, ). Par conséquent, est linéaire, mais ne l'est pas. Un modèle linéaire signifie que votre estimation de votre vecteur de paramètres peut être écrite , où les sont des poids déterminés par votre procédure d'estimation. Les modèles linéaires peuvent être résolus algébriquement sous forme fermée, tandis que de nombreux modèles non linéaires doivent être résolus par maximisation numérique à l'aide d'un ordinateur.y i y = e x β + ε y = e β x + ε β = Σ i w i y i { w i }βyiy=exβ+ϵy=eβx+ϵβ^=iwiyi{wi}

Charlie
la source
6
+1 Plus précisément, dans un "modèle linéaire", la variable dépendante est une fonction linéaire des paramètres mais pas nécessairement des données. y
whuber
Le premier est linéaire? vraiment - celui à la puissance de x?
suprvisr
2
Oui, car n'est pas la quantité d'intérêt (celle pour laquelle vous optimisez), mais à la place est. Ainsi, il est linéaire en . β βxββ
bayerj
+1, mais cette réponse pourrait être améliorée en commentant la formule de la question.
naught101
1
Je remarque, à la deuxième lecture, que la seconde moitié de cette réponse confond "modèle linéaire" et "estimateur linéaire". Les deux concepts sont séparés et différents. Les modèles non linéaires ont souvent des estimateurs linéaires et les modèles linéaires peuvent avoir des estimateurs non linéaires (considérons les GLM, par exemple).
whuber
5

Ce message sur minitab.com fournit une explication très claire:

  • Un modèle est linéaire lorsqu'il peut être écrit dans ce format:
    • Response = constant + parameter * predictor + ... + parameter * predictor
      • Autrement dit, lorsque chaque terme (dans le modèle) est soit une constante, soit le produit d'un paramètre et d'une variable prédictive.
    • Ainsi , les deux d' entre eux sont des modèles linéaires:
      • Y=B0+B1X1 (Ceci est une ligne droite)
      • Y=B0+B1X12 (Ceci est une courbe)
  • Si le modèle ne peut pas être exprimé en utilisant le format ci-dessus, il est non linéaire.
    • Exemples de modèles non linéaires:
      • X B 1 1Y=B0+X1B1
      • Y=B0cos(B1X1)
Patrick Ng
la source
4

Je serais prudent en posant cela comme une question de "régression linéaire R" par rapport à une question de "régression linéaire". Les formules dans R ont des règles que vous ne connaissez peut-être pas. Par exemple:

http://wiener.math.csi.cuny.edu/st/stRmanual/ModelFormula.html

En supposant que vous demandez si l'équation suivante est linéaire:

a = coeff0 + (coeff1 * b) + (coeff2 * c) + (coeff3 * (b*c))

La réponse est oui, si vous assemblez une nouvelle variable indépendante telle que:

newv = b * c

La substitution de l'équation newv ci-dessus dans l'équation d'origine ressemble probablement à ce que vous attendez d'une équation linéaire:

a = coeff0 + (coeff1 * b) + (coeff2 * c) + (coeff3 * newv)

En ce qui concerne les références, Google "r régression", ou tout ce que vous pensez pourrait fonctionner pour vous.

bill_080
la source
Comment renommer quelque chose le rend-il linéaire? Je ne comprends pas, si l'identité newv = b * c tient, ce n'est pas linéaire du tout. Je suis confus.
bayerj
@bayer: newv est une nouvelle variable. La nouvelle équation est une fonction linéaire de trois variables (b, c, newv), où les coefficients fournissent une relation linéaire. Aucune de ces équations n'est une combinaison linéaire de seulement deux variables.
bill_080
@bayer Voir la réponse de @Charlie. Dans le présent exemple, les deux modèles sont linéaires (que R les considère comme tels ou non) car dans les deux cas, il as'agit d'une fonction linéaire des quatre coefficients.
whuber
merci, cela a du sens ... puis-je simplement ajouter une nouvelle variable neww étant b * c pour chaque cas dans la base de données (médicale), puis la traiter comme une régression linéaire?
2011
2

Vous pouvez écrire la régression linéaire sous la forme d'une équation matricielle (linéaire).

[a1a2a3a4a5...an]=[b1c1b1c1b2c2b2c2b3c3b3c3b4c4b4c4b5c5b5c5...bncnbncn]×[αbαcαbc]+[ϵ1ϵ2ϵ3ϵ4ϵ5...ϵn]

ou si vous l'effondrez:

a=αbb+αcc+αbcbc+ϵ

Cette régression linéaire équivaut à trouver la combinaison linéaire des vecteurs , et plus proche du vecteur .c b c abcbca

(Ceci a également une interprétation géométrique comme trouvant la projection de sur la portée des vecteurs , et . Pour un problème avec deux vecteurs de colonne avec trois mesures, cela peut toujours être dessiné comme une figure, par exemple, comme indiqué ici: http://www.math.brown.edu/~banchoff/gc/linalg/linalg.html )b c b cabcbc


La compréhension de ce concept est également importante dans la régression non linéaire. Par exemple, il est beaucoup plus facile de résoudre que car le premier paramétrage permet de résoudre les et des coefficients avec les techniques de régression linéaire. y = u ( e c ( t - v ) + e d ( t - v ) ) a by=aect+bedty=u(ec(tv)+ed(tv))ab

Sextus Empiricus
la source
Je pense que c'est la meilleure réponse, car elle répond à la question pourquoi au lieu de quoi. Répondre à «quoi» ne mène pas à une meilleure intuition.
Hexatonic