Régression sans interception: dériver

8

Dans An Introduction to Statistical Learning (James et al.), À la section 3.7, exercice 5, il est indiqué que la formuleβ^1en supposant une régression linéaire sans interception est

β^1=i=1nxiyii=1nxi2,
β^0=y¯β^1x¯ et β^1=SxySxx sont les estimations habituelles sous OLS pour une régression linéaire simple (Sxy=i=1n(xix¯)(yiy¯)).

Ce n'est pas l'exercice proprement dit ; Je me demande simplement comment dériver l'équation. Sans utiliser l'algèbre matricielle , comment puis-je la dériver?

Ma tentative: avec β^0=0, on a β^1=y¯x¯=SxySxx.

Après une algèbre, on peut montrer que Sxy=i=1nxi2nx¯y¯ et Sxx=i=1nxi2nx¯2. De là, je suis coincé.

Clarinettiste
la source
1
La formule est immédiate de l'interprétation géométrique des moindres carrés , en utilisantx/||x|| comme "matcher" pour y et reconnaissant la formule pour (β^1)x comme étant (y(x/||x||))x/||x||.
whuber
@whuber: Plutôt que d'écrire x/||x||, Je souhaiterai écrire x/x.Si ce n'est pas assez visible pour vous, considérez la différence typographique entre codé comme || x || || y || et codés comme \ | x \ | \ | y \ |. ||x||||y||,xy,
Michael Hardy

Réponses:

15

Ceci est simple à partir de la définition des moindres carrés ordinaires. S'il n'y a pas d'interception, on minimise . C'est lisse en fonction de , donc tous les minima (ou maxima) se produisent lorsque la dérivée est nulle. En différenciant par rapport à nous obtenons . La résolution de donne la formule.R(β)=i=1i=n(yiβxi)2ββi=1i=n2(yiβxi)xiβ

meh
la source