Existe-t-il un ensemble clair de conditions dans lesquelles le lasso, la crête ou les chemins de solution nette élastique sont monotones?

La question Que conclure de ce graphique du lasso (glmnet) montre des chemins de solution pour l'estimateur du lasso qui ne sont pas monotones. C'est-à-dire que certains des coefficients augmentent en valeur absolue avant de rétrécir.

J'ai appliqué ces modèles à plusieurs types d'ensembles de données et je n'ai jamais vu ce comportement "dans la nature", et jusqu'à aujourd'hui j'avais supposé qu'ils étaient toujours monotones.

Existe-t-il un ensemble clair de conditions dans lesquelles les chemins de solution sont garantis monotones? Cela affecte-t-il l'interprétation des résultats si les chemins changent de direction?

lasso ridge-regression elastic-net shadowtalker
la source

Monotone dans quel sens? Cela ne me semble pas très significatif si vous voulez le traiter comme un graphique d'une fonction.

Henry.L

@ Henry.L La question peut être reformulée comme suit: quand est-ce vrai: pour , nous avons cela pour tout , où . Autrement dit, le lasso rétrécit uniformément par composant. Pourriez-vous, s'il vous plaît, clarifier ce qui, selon vous, est significatif?

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

user795305

note: comprendre la façon dont le lasso réduit les coefficients est le sujet de cette question et de stats.stackexchange.com/questions/145299/…

user795305

Je ne sais pas comment j'ai manqué cela auparavant, la question est répondue au lasso sur la réponse du PO à sa propre question dans la question ci-dessus.

user795305

Réponses:

Je peux vous donner une suffisante condition pour le chemin d'accès monotones: une conception orthonormé $X$ .

Supposons une matrice de conception orthonormée, c'est-à-dire qu'avec variables dans , nous avons . Avec un plan orthonormé, les coefficients de régression OLS sont simplement . $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

Les conditions de Karush-Khun-Tucker pour le LASSO se simplifient donc pour:

\frac{X^{'} y}{n} = {\hat{β}}^{l une s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l une s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

Où est le sous-gradient. Par conséquent, pour chaque nous avons , et nous avoir une solution sous forme fermée aux estimations du lasso: $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l une s s o} = s je g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

Qui est monotone dans . Bien que ce n'est pas une condition nécessaire, nous voyons que la non-monotonicité doit provenir de la corrélation des variables dans . $\lambda$ $X$

Carlos Cinelli
la source