Peut augmentent lorsque

11

Si β=argminβyXβ22+λβ1 , β2 augmenter lorsque λ augmente?

Je pense que c'est possible. Bien que β1 n'augmente pas lorsque λ augmente (ma preuve ), β2 peut augmenter. La figure ci-dessous montre une possibilité. Lorsque λ augmente, si β déplace (linéairement) de P vers Q , alors β2 augmente tandis que β1 diminue. Mais je ne sais pas comment construire un exemple concret (ie, pour construire X et y ), pour que le profil de β démontre ce comportement. Des idées? Je vous remercie.

entrez la description de l'image ici

ziyuang
la source

Réponses:

10

La réponse est oui, et vous avez là une preuve graphique dans .2

Recherchez la définition de l'équivalence des normes vectorielles. Vous constaterez que où est la dimension du vecteur . Par conséquent, il existe une certaine marge de manœuvre pour la norme , par rapport à la norme .

x2x1nx2,
nx21

En fait, le problème que vous souhaitez résoudre peut être défini comme suit:

Trouvez tel que en même temps d

x+d2>x2
x+d1<x1.

carré la première inégalité, développez et voyez que et que, en supposant que et , nous obtenons de la deuxième inégalité que nous devons avoir Tout qui remplit ces contraintes augmentera la norme tout en diminuant la norme .

2ixidi>idi2
xi0xi+di0
idi<0.
d21

Dans votre exemple, , , et et d[0.4,0.3]Tx:=P[0.5,0.6]T

idi0.1<0,
2iPidi0.04>0.25idi2.
Tommy L
la source
Mais comment est-il lié à la construction du et du ? Xy
ziyuang
3

Merci pour la réponse de @ TommyL, mais sa réponse n'est pas directe sur la construction de et . En quelque sorte, je «résous» cela moi-même. Premièrement, lorsque augmente, n'augmentera pas lorsque chaque diminuera de façon monotone. Cela se produit lorsque est orthonormé, dans lequel nous avonsXyλβ2βiX

βi=sign(βiLS)(βiLSλ)+

Géométriquement, dans cette situation, se déplace perpendiculairement au contour de la norme , donc ne peut pas augmenter.β1β2

En fait, Hastie et al. mentionné dans l'article La régression étape par étape et le lasso monotone , une condition nécessaire et suffisante de la monotonie des chemins de profil:

entrez la description de l'image ici

Dans la section 6 de l'article, ils ont construit un ensemble de données artificielles basées sur des fonctions de base linéaire par morceaux qui violent la condition ci-dessus, montrant la non-monotonie. Mais si nous avons de la chance, nous pouvons également créer un ensemble de données aléatoires démontrant le comportement similaire mais de manière plus simple. Voici mon code R:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

J'ai délibérément laissé les colonnes de fortement corrélées (loin du cas orthonormal), et le vrai a de grandes entrées positives et négatives. Voici le profil de (sans surprise seulement 5 variables sont activées):Xββ

entrez la description de l'image ici

et la relation entre et :λβ2

entrez la description de l'image ici

Nous pouvons donc voir que pour un certain intervalle de , augmente à mesure que augmente.λβ2λ

ziyuang
la source