Raison pour ne pas avoir réduit le terme de biais (interception) dans la régression

21

Pour un modèle linéaire , le terme de retrait est toujours . $y=\beta_0+x\beta+\varepsilon$ $P(\beta)$

Quelle est la raison pour laquelle nous ne rétrécissons pas le terme de biais (interception) ? Faut-il réduire le terme de biais dans les modèles de réseaux de neurones? $\beta_0$

regression neural-networks ridge-regression intercept shrinkage yliueagle
la source

La bibliothèque liblinéaire de régression logistique utilisée dans scikit-learn pénalise le terme de biais (je pense que c'est un artefact d'implémentation, le biais est traité comme une variable d'entrée supplémentaire)

seanv507

33

Les éléments de l'apprentissage statistique par Hastie et al. définissez la régression de crête comme suit (section 3.4.1, équation 3.41): c'est-à dire exclure explicitement le terme d'interception de la pénalité de crête.

\hat{β}^{r i d g e} = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} (y_{i} - β_{0} - \sum_{j = 1}^{p} x_{i j} β_{j})^{2} + λ \sum_{j = 1}^{p} β_{j}^{2}},

$\hat \beta{}^\mathrm{ridge} = \underset{\beta}{\mathrm{argmin}}\left\{\sum_{i=1}^N(y_i - \beta_0 - \sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2\right\},$

β_{0}

$\beta_0$

Puis ils écrivent:

[...] notez que l'interception a été de la peine. La pénalisation de l'interception ferait dépendre la procédure de l'origine choisie pour ; c'est-à-dire que l'ajout d'une constante à chacune des cibles n'entraînerait pas simplement un décalage des prédictions de la même quantité . $\beta_0$ $Y$ $c$ $y_i$ $c$

En effet, en présence du terme d'interception, en ajoutant à tous les sera tout simplement conduire à la augmentant de ainsi et de manière correspondante les valeurs prédites permettra également d' augmenter par . Ce n'est pas vrai si l'ordonnée à l'origine est pénalisée: devra augmenter de moins de . $c$ $y_i$ $\beta_0$ $c$ $\hat y_i$ $c$ $\beta_0$ $c$

En fait, il existe plusieurs propriétés agréables et pratiques de régression linéaire qui dépendent de l'existence d'un terme d'interception approprié (non pénalisé). Par exemple , la valeur moyenne de et la valeur moyenne de sont égaux, et ( par conséquent) le coefficient de corrélation multiple au carré est égal au coefficient de détermination : $y_i$ $\hat y_i$ $R$ $R^2$ voir par exemple ce fil pour une explication:Interprétation géométrique du coefficient de corrélation multiple et du coefficient de détermination .

(R)^{2} = \cos^{2} (\hat{y}, y) = \frac{‖ \hat{y} ‖^{2}}{‖ y ‖^{2}} = R^{2},

$(R)^2 = \cos^2(\hat {\mathbf y}, \mathbf y) = \frac{\|\hat{\mathbf y}\|^2}{\|\mathbf y\|^2} = R^2,$

R

$R$

R^{2}

$R^2$

Pénaliser l'interception conduirait à ce que tout cela ne soit plus vrai.

amibe dit réintégrer Monica
la source

2

Rappelez-vous le but du retrait ou de la régularisation. Il s'agit d'empêcher l'algorithme d'apprentissage d'ajuster les données d'entraînement ou de manière équivalente - d'empêcher de choisir des valeurs de paramètres arbitrairement grandes. Cela est plus probable pour les ensembles de données avec plus de quelques exemples de formation en présence de bruit (une discussion très intéressante sur la présence de bruit et son impact est discutée dans "Learning from Data" de Yaser Abu-Mustafa). Un modèle appris sur des données bruyantes sans régularisation fonctionnera probablement mal sur certains points de données invisibles.

Dans cet esprit, imaginez que vous disposez de points de données 2D que vous souhaitez classer en deux classes. Ayant tous les paramètres de biais sauf ceux fixés, la variation du terme de biais ne fera que déplacer la limite vers le haut ou vers le bas. Vous pouvez généraliser cela à un espace de dimension supérieure.

L'algorithme d'apprentissage ne peut pas attribuer des valeurs arbitrairement grandes pour le terme de biais, car cela entraînera éventuellement une valeur de perte brute (le modèle ne correspondra pas aux données d'apprentissage). En d'autres termes, étant donné un ensemble d'entraînement, vous (ou un algorithme d'apprentissage) ne pouvez pas éloigner arbitrairement l'avion du vrai.

Il n'y a donc aucune raison de réduire le terme de biais, l'algorithme d'apprentissage trouvera le bon sans risque de surapprentissage.

Une note finale: J'ai vu dans certains articles que lorsque l'on travaille dans des espaces de grande dimension pour la classification, il n'est pas strictement nécessaire de modéliser le terme de biais. Cela peut fonctionner pour des données séparables linéairement car avec plus de dimensions ajoutées, il y a plus de possibilités de séparer les deux classes.

Vladislavs Dovgalecs
la source

Pouvez-vous donner des références pour certains articles qui disent "lorsque vous travaillez dans des espaces de grande dimension pour la classification, il n'est pas strictement nécessaire de modéliser le terme de biais"?

chandresh

1

Le terme d'interception n'est absolument pas à l'abri du retrait. La formulation générale de «rétrécissement» (c.-à-d. Régularisation) place le terme de régularisation dans la fonction de perte, par exemple:

$RSS(\beta) = \|y_i - X_i \beta \|^2$

$RegularizedLoss(\beta) = RSS(\beta) - \lambda f(\beta)$

$f(\beta)$ $\lambda$

$\beta$ $P(\beta)$ $\beta_0$ $y = X \beta + \epsilon$ $X$ $1's$

Maintenant, je ne peux pas parler de régularisation pour les réseaux de neurones. Il est possible que pour les réseaux de neurones, vous souhaitiez éviter le rétrécissement du terme de biais ou autrement concevoir la fonction de perte régularisée différemment de la formulation que j'ai décrite ci-dessus. Je ne sais juste pas. Mais je soupçonne fortement que les pondérations et les termes de biais sont régularisés ensemble.

David Marx
la source

2

Cela dépend de la convention, mais par exemple Les éléments de l'apprentissage statistique par Hastie et al. définir la régression des crêtes de telle sorte que l'interception ne soit pas pénalisée (voir ma réponse). Je soupçonne que cela pourrait être plus standard qu'autrement.

Amoeba dit Reinstate Monica

1

Je ne suis pas sûr que la réponse ci-dessus de David Marx soit tout à fait juste; selon Andrew Ng, par convention, le coefficient de biais / interception n'est généralement pas régularisé dans une régression linéaire, et en tout cas, s'il est régularisé ou non, cela ne fait pas de différence significative.

xénocyon
la source

1

Je vais donner l'explication la plus simple, puis je développerai.

y_{t} = ε_{t}

$y_t=\varepsilon_t$

E [ε_{t}] = E [y_{t}] \neq 0

$E[\varepsilon_t]=E[y_t]\ne 0$

$\beta$

$\beta$ $\beta_0$

y_{t} = β_{0} + ε_{t}

$y_t=\beta_0+\varepsilon_t$

E [y_{t}] = β_{0} + E [ε_{t}]

$E[y_t]=\beta_0+E[\varepsilon_t]$

E [ε_{t}] = 0

$E[\varepsilon_t]=0$

β_{0} = μ = E [y_{t}]

$\beta_0=\mu=E[y_t]$

Ce modèle n'est pas aussi sexy que le modèle d'origine, c'est plutôt idiot, en fait. Cependant, c'est un modèle légitime. Vous pouvez exécuter ANOVA dessus, par exemple.

$\beta_0=E[y_t]$

Aksakal
la source

Raison pour ne pas avoir réduit le terme de biais (interception) dans la régression

Réponses: