Peut augmentent lorsque

Si $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ , $\|\beta^*\|_2$ augmenter lorsque $\lambda$ augmente?

Je pense que c'est possible. Bien que $\|\beta^*\|_1$ n'augmente pas lorsque $\lambda$ augmente (ma preuve ), $\|\beta^*\|_2$ peut augmenter. La figure ci-dessous montre une possibilité. Lorsque $\lambda$ augmente, si $\beta^*$ déplace (linéairement) de $P$ vers $Q$ , alors $\|\beta^*\|_2$ augmente tandis que $\|\beta^*\|_1$ diminue. Mais je ne sais pas comment construire un exemple concret (ie, pour construire $X$ et $y$ ), pour que le profil de $\beta^*$ démontre ce comportement. Des idées? Je vous remercie.

La réponse est oui, et vous avez là une preuve graphique dans .$\ell_2$

Recherchez la définition de l'équivalence des normes vectorielles. Vous constaterez que où est la dimension du vecteur . Par conséquent, il existe une certaine marge de manœuvre pour la norme , par rapport à la norme .

$$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$$ $n$$x$$\ell_2$$\ell_1$

En fait, le problème que vous souhaitez résoudre peut être défini comme suit:

Trouvez tel que en même temps $d$

$$\|x + d\|_2 > \|x\|_2$$ $$\|x + d\|_1 < \|x\|_1.$$

carré la première inégalité, développez et voyez que et que, en supposant que et , nous obtenons de la deuxième inégalité que nous devons avoir Tout qui remplit ces contraintes augmentera la norme tout en diminuant la norme .

$$2\sum_i x_id_i > -\sum_i d_i^2$$ $x_i\geq0$$x_i+d_i\geq0$ $$\sum_i d_i < 0.$$ $d$$\ell_2$$\ell_1$

Dans votre exemple, , , et et $d\approx[-0.4, 0.3]^T$$x:=P\approx[0.5, 0.6]^T$

$$\sum_i d_i\approx-0.1<0,$$ $$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$$

Merci pour la réponse de @ TommyL, mais sa réponse n'est pas directe sur la construction de et . En quelque sorte, je «résous» cela moi-même. Premièrement, lorsque augmente, n'augmentera pas lorsque chaque diminuera de façon monotone. Cela se produit lorsque est orthonormé, dans lequel nous avons$X$$y$$\lambda$$\|\beta^*\|_2$$\beta^*_i$$X$

$$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$$

Géométriquement, dans cette situation, se déplace perpendiculairement au contour de la norme , donc ne peut pas augmenter.$\beta^*$$\ell_1$$\|\beta^*\|_2$

En fait, Hastie et al. mentionné dans l'article La régression étape par étape et le lasso monotone , une condition nécessaire et suffisante de la monotonie des chemins de profil:

Dans la section 6 de l'article, ils ont construit un ensemble de données artificielles basées sur des fonctions de base linéaire par morceaux qui violent la condition ci-dessus, montrant la non-monotonie. Mais si nous avons de la chance, nous pouvons également créer un ensemble de données aléatoires démontrant le comportement similaire mais de manière plus simple. Voici mon code R:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

J'ai délibérément laissé les colonnes de fortement corrélées (loin du cas orthonormal), et le vrai a de grandes entrées positives et négatives. Voici le profil de (sans surprise seulement 5 variables sont activées):$X$$\beta$$\beta^*$

et la relation entre et :$\lambda$$\|\beta^*\|_2$

Nous pouvons donc voir que pour un certain intervalle de , augmente à mesure que augmente.$\lambda$$\|\beta^*\|_2$$\lambda$