La normalisation L2 de la régression des crêtes punit-elle l'interception? Sinon, comment résoudre sa dérivée?

Je suis nouveau au ML. J'ai été informé que la normalisation L2 de la régression des crêtes ne punit pas l'interception$\theta_{0}$. Comme dans la fonction de coût:

$$\nabla_{\theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(h_{\vec \theta}(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ Le terme de normalisation L2 $\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$ uniquement les sommes $j=1$ à $n$, Pas de $j=0$ à $n$. J'ai également lu que:

dans la plupart des cas (tous les cas?), il vaut mieux ne pas régulariser $\theta_{0}$, car il est peu probable qu'il réduise le sur-ajustement et rétrécisse l'espace des fonctions représentables

qui provient de la dernière réponse de user48956 de Pourquoi un modèle de régression linéaire à interception nulle prédit-il mieux qu'un modèle avec interception?

Je ne sais pas comment résoudre la dérivée de la fonction de coût, car:

$$\nabla_{\theta}J(\theta)=\frac{1}{2}（X\theta-Y）^{T}（X\theta-Y）+\lambda(\theta^{'})^{T}\theta^{'},$$ où $\theta^{'}=\left[ \begin{matrix} \theta_{1} \\ \theta_{2} \\ ...\\ \theta_{n} \end{matrix} \right]$ , $\theta=\left[ \begin{matrix} \theta_{0} \\ \theta_{1} \\ ...\\ \theta_{n} \end{matrix} \right]$ et $X=\left[ \begin{matrix} 1 & X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ 1 & X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ 1 & X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$.

$\theta^{'}$ et $\theta$sont différents. Par conséquent, ils ne peuvent pas être mélangés de mon point de vue. Et le dérivé est sur le point$\theta$,qui contient $\theta^{'}$. Après avoir googlé et consulté les questions sur ce forum, il n'y a toujours aucun moyen pour moi d'obtenir la solution:

$$\theta=(X^TX+\lambda*I)^{-1}X^TY$$ Quelqu'un peut-il me donner un indice? Merci d'avance pour votre aide!

Cependant, je pense qu'il existe deux solutions rapides à ce problème:

Tout d'abord, nous n'ajoutons pas la colonne all 1 à $X$. À savoir$X=\left[ \begin{matrix} X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$. C'est-à-dire que nous n'incluons pas du tout l'interception dans le modèle:

$$y=\theta_{1}X_{1}+\theta_{2}X_{2}+...+\theta_{n}X_{n}.$$ Je crois que cette méthode est adoptée dans le livre classique Machine Learning in Action de Peter Harrington que je lis actuellement. Dans son implémentation de la régression des crêtes (P166 et P177 si vous avez aussi le livre), tous les$X$passé à la régression de crête n'a pas la toute 1 colonne. Aucune interception n'est donc installée du tout.

Deuxièmement, l'interception est également punie dans la réalité.

La régression logistique de scikit régularise l'interception par défaut.

qui provient encore une fois de la dernière réponse de user48956 de Pourquoi un modèle de régression linéaire à interception nulle prédit-il mieux qu'un modèle avec une interception?

Les deux solutions rapides mènent à la solution

$$\theta=(X^TX+\lambda*I)^{-1}X^TY.$$

Le dérivé de la normalisation L2 de la régression des crêtes peut-il être réellement résolu ou est-il simplement résolu par des solutions rapides?

Les éléments de l'apprentissage statistique par Hastie et al. souligne dans P63 que:

L'interception $\theta_{0}$ a été exclu de la peine

De plus, il dit:

Les solutions de faîtage ne sont pas équivariantes sous l'échelle des entrées, et donc on normalise normalement les entrées avant de résoudre (3.41) (3.41 est la fonction de coût). On peut montrer (Exercice 3.5) que la solution de (3.41) peut être séparée en deux parties, après reparamétrisation à l'aide d'entrées centrées: chacune$X_{j}^{(i)}$ est remplacé par $X_{j}^{(i)}-\overline{x_{j}}.$ Nous estimons $\theta_{0}$ par $\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$ Les coefficients restants sont estimés par une régression de crête sans interception, en utilisant le centré $X_{j}^{(i)}$. Nous supposons désormais que ce centrage a été effectué, de sorte que la matrice d'entrée$X$ a $n$ (plutôt que $n + 1$) Colonnes.

Bien que je me demande pourquoi The Elements of Statistical Learning suggère d'abord la standardisation des fonctionnalités et que seul le centrage des fonctionnalités est effectué. Peut-être d'accord avec l'exercice 3.5 qui utilise uniquement le centrage des fonctionnalités.

Quoi qu'il en soit, je pense qu'il est juste d'appliquer la standardisation z-score aux fonctionnalités. J'essaie donc maintenant de résoudre la dérivée de la fonction de coût de la régression de crête en suivant la suggestion de l'amibe commentateur ci-dessus. Merci beaucoup à lui!

Tout d'abord, la fonction de coût:

$$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\frac{X_{1}^{(i)}-\overline{X_1}}{\sigma_1}\theta_1-\frac{X_{2}^{(i)}-\overline{X_2}}{\sigma_2}\theta_2-...-\frac{X_{n}^{(i)}-\overline{X_n}}{\sigma_n}\theta_n)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}},$$ où $\overline{X_j}$ est la moyenne de l'attribut $X_{j}$ et $\sigma_j$ est l'écart type de $X_{j}$. Pour le raccourcir: $$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ Maintenant, nous calculons d'abord la valeur de $\theta_0$ dans l'expression ci-dessus en définissant la dérivée par rapport à $\theta_0$égal à zéro. Depuis$\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$ n'a pas $\theta_{0}$, on a: $$\nabla_{ \theta_0}J(\theta)=-\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)=0$$ C'est: $$\sum_{i=1}^{m}(y_{i}-\theta_{0})-\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$$ Comme $$\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$$ (parce que $\overline{X_j}$ est la moyenne de l'attribut $X_{j}$ ), nous avons donc maintenant $$\sum_{i=1}^{m}(y_{i}-\theta_{0})=0,$$ évidemment: $$\theta_0=\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$$

Ainsi, l'ordonnée à l'origine de la régression de crête normalisée est toujours $\overline{y}$. Par conséquent, si nous centralisons d'abord$Y$ en soustrayant sa moyenne (obtenir $(y_i)^{'}$ pour l'exemple de données $i$), ne pas inclure toutes les 1 colonne dans $X$, puis effectuez la normalisation sur $X$ (avoir $(X_j^{(i)})^{'}$ pour $X_{j}$ d'exemple de données $i$) , la fonction de coût sera simplement

$$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}((y_{i})^{'}-\sum_{j=1}^{n}(X_j^{(i)})^{'}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ C'est $$\nabla_{\theta}J(\theta)=\frac{1}{2}（X^{'}\theta-Y^{'}）^{T}（X^{'}\theta-Y^{'}）+\lambda(\theta)^{T}\theta,$$ où $\theta=\left[ \begin{matrix} \theta_1 \\ \theta_2 \\ ...\\ \theta_n \end{matrix} \right]$, $X^{'}$ n'a pas toutes 1 colonne et normalisé de $X$, $Y^{'}$ est centré par rapport à $Y$. Maintenant$\theta$ (sans pour autant $\theta_0$) peut être résolu avec: $$\theta=((X^{'})^TX^{'}+\lambda*I)^{-1}(X^{'})^TY^{'}$$ Pour les entités normalisées, le modèle linéaire sera $$y=\overline{y}+\theta{_1}X_1^{'}+\theta{_2}X_2^{'}+...+\theta{_n}X_n^{'}---(1),$$ où $$X_i^{'}=\frac{X_{i}-\overline{X_i}}{\sigma_i}---(2)$$ Si nous utilisons (2) dans (1) comme suggéré dans la réponse de Plasty Grove . Ainsi, pour les données d'entrée d'origine, le modèle linéaire sera
$$y=\overline{y}+\frac{X_{1}-\overline{X_1}}{\sigma_1}\theta_1+\frac{X_{2}-\overline{X_2}}{\sigma_2}\theta_2+...+\frac{X_{n}-\overline{X_n}}{\sigma_n}\theta_n$$ C'est $$y=\frac{\theta_1}{\sigma_1}X_1+\frac{\theta_2}{\sigma_2}X_2+...+\frac{\theta_n}{\sigma_n}X_n+\overline{y}-\frac{\overline{X_1}}{\sigma_1}\theta_1-\frac{\overline{X_2}}{\sigma_2}\theta_2-...-\frac{\overline{X_n}}{\sigma_n}\theta_n$$ C'est pourquoi après avoir résolu des coefficients d'entités normalisées, pour renvoyer des données d'entrée de coefficients d'origine (entités non normalisées), nous devons retourner $\theta_i/\sigma_i$