Pourquoi la somme des résidus au carré n'augmente-t-elle pas lors de l'ajout d'une variable explicative?

9

Dans mon manuel d'économétrie (économétrie d'introduction) couvrant l'OLS, l'auteur écrit: "La RSS doit tomber lorsqu'une autre variable explicative est ajoutée." Pourquoi?

regression optimization econometrics intuition sums-of-squares Eric Xu
la source

1

Essentiellement parce que s'il n'y a aucune relation linéaire avec la variable suivante (corrélation partielle de 0 échantillon), le SSR restera le même. S'il y a une relation, la variable suivante peut être utilisée pour réduire la SSR.

Glen_b -Reinstate Monica

3

L'énoncé est correct dans son esprit mais pas tout à fait vrai: SSR restera le même (et ne tombera pas) lors de l'ajout d'une variable qui est une combinaison linéaire des variables existantes. Après tout, en ignorant la nouvelle variable, vous pouvez obtenir la même valeur minimale de SSR que vous avez obtenue avec l'ancienne variable, donc l'ajout d'une nouvelle variable ne peut jamais aggraver les choses.

whuber

J'ai répondu à une question similaire ici: stats.stackexchange.com/questions/306267/… . Vous pouvez peut-être le trouver utile.

Josh

18

I : y_{i} = β_{0} + β_{1} x_{1 i} + ϵ_{i}

$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$

I I : y_{i} = β_{0} + β_{1} x_{1 i} + β_{2} x_{2 i} + ϵ_{i}

$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$

{SSR}_{1} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i})^{2}

$\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$

{SSR}_{2} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i} - β_{2} x_{2 i})^{2}

$\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$

β_{0}, β_{1}

$\beta_0, \beta_1$

β_{2} = 0

$\beta_2=0$

β_{2}

$\beta_2$

Pour résumer, les modèles sont imbriqués, dans le sens où tout ce que nous pouvons modéliser avec le modèle 1 peut être mis en correspondance par le modèle deux, le modèle deux est plus général que le modèle 1. Donc, dans l'optimisation, nous avons une plus grande liberté avec le modèle deux, donc nous pouvons toujours trouver une meilleure solution.

Cela n'a vraiment rien à voir avec les statistiques mais c'est un fait général sur l'optimisation.

kjetil b halvorsen
la source

1

Je n'ai pas pensé de cette façon, vraiment utile!

Eric Xu

1

La SSR est une mesure de l'écart entre les données et un modèle d'estimation.

Si vous avez la possibilité de prendre en compte une autre variable, alors si cette variable contient plus d'informations, l'ajustement serait naturellement plus serré, ce qui signifie un SSR inférieur.

Cloud Skywalker
la source

Pourquoi la somme des résidus au carré n'augmente-t-elle pas lors de l'ajout d'une variable explicative?

Réponses: