Filet élastique de groupe

Le lasso et le filet élastique ne sont pas en mesure de traiter des variables de plus de deux catégories et, par conséquent, une répartition des variables catégorielles en variables muettes est nécessaire pour l'application de ces méthodes. Cela peut entraîner plusieurs problèmes et il existe donc des extensions du lasso au groupe lasso ou au groupe lasso clairsemé .

Cependant, je me demande si de telles extensions existent également pour le filet élastique. Malheureusement, je n'ai pu trouver aucune littérature statistique sur le sujet.

Question: Existe-t-il un filet élastique de groupe?

machine-learning categorical-data feature-selection lasso elastic-net JSP
la source

Regardez le paquet glmnet de R ...

kjetil b halvorsen

Oui, je pense que c'est exact.

kjetil b halvorsen

Dans un sens très réel, ce «filet élastique de groupe» n'est qu'une version du «lasso de groupe» où les groupes peuvent se chevaucher. Par exemple, si est votre ensemble de groupes, alors exécutez le lasso de groupe sur , où nous considérons qu'il y a fonctionnalités . Ce sera équivalent au groupe élastique net jusqu'à une reparamétrisation du paramètre de réglage contrôlant .

G

$\mathcal{G}$

G \cup {{1, \dots, p}}

$\mathcal{G} \cup \{ \{1, \dots, p\} \}$

p

$p$

{1, \dots, p}

$\{1, \dots, p\}$

user795305

L'ensemble n'est plus une partition, contrairement à lui-même. (Ceci est le commentaire qui se chevauchent.) La partie sur les différents paramétrisations se rapporte simplement à la fonction objective dont je parle d'être une reparamétrie de celle dont vous discutez probablement. Ce commentaire peut être largement ignoré imo. De plus, la procédure recommandée par @kjetilbhalvorsen ne semble pas être correcte. Le regroupement dont il est question ici concerne les réponses multivariées. C'est différent. Cependant, vous pouvez, par exemple, utiliser le package pour ce faire.

G \cup {{1, \dots, p}}

$\mathcal{G} \cup \{\{1, \dots, p\}\}$

G

$\mathcal{G}$ gglasso

user795305

(Remarque: ne mettez pas d'espace après le "@", sinon l'utilisateur n'en sera pas informé.)

user795305

Soit le groupe qui vous intéresse; c'est-à-dire, que soit une partition de , où nous considérons qu'il y a fonctionnalités. Avec la réponse et la matrice de conception , l'estimateur de lasso de groupe estEn appliquant une autre pénalité au carré pour induire un retrait global, nous obtiendrions l'estimateur $\mathcal{G}$ $\mathcal{G}$ $\{1, \dots, p\}$ $p$ $y \in \mathbb{R}^n$ $X \in \mathbb{R}^{n \times p}$

\arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} .

$\arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2.$

ℓ_{2}

$\ell_2$

\arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + μ ‖ β ‖_{2}^{2} .

$\arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \mu \|\beta\|_2^2.$ On pourrait appeler cela le "filet élastique de groupe". Par dualité lagrangienne, on peut écrire

\begin{aligned} \arg min_{β \in R^{p}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + μ ‖ β ‖_{2}^{2} \\ = \arg min_{β \in R^{p} : ‖ β ‖_{2}^{2} \leq C} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} \\ = \arg min_{β \in R^{p} : ‖ β ‖_{2} \leq \sqrt{C}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} \\ = \arg min_{β \in R^{p}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + \tilde{μ} ‖ β ‖_{2} \\ = \arg min_{β \in R^{p}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + (λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + {\tilde{μ}}^{'} p^{1 / 2} ‖ β ‖_{2}), \end{aligned}

$\begin{align*} \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \mu \|\beta\|_2^2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p \, : \, \|\beta\|_2^2 \leq C} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p \, : \, \|\beta\|_2 \leq \sqrt{C}} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \tilde\mu \|\beta\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \left( \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \tilde\mu' p^{1/2} \|\beta\|_2 \right), \end{align*}$ où est la variable double correspondante et . Comme nous pouvons le voir, cette dernière expression est un lasso de groupe avec des groupes "se chevauchant", car n'est plus une partition. De plus, le groupe a une variable double (ou variable de réglage) qui est distincte de la variable double pour les autres groupes.

\tilde{μ}

$\tilde\mu$

{\tilde{μ}}^{'} = p^{- 1 / 2} \tilde{μ}

$\tilde\mu' = p^{-1/2} \tilde\mu$

G \cup {1, \dots, p}

$\mathcal{G} \cup \{1, \dots, p\}$

{1, \dots, p}

$\{1, \dots, p\}$

\tilde{μ}

$\tilde\mu$

λ

$\lambda$

Cela peut être un problème d'optimisation qui peut être résolu en utilisant le package gglasso. La lecture de la section à la page 9 de la documentation ici vous renseignera sur la gglassofonction à utiliser. Notez que l'argument pmaxdevra être fourni manuellement avec un dernier composant qui servira de paramètre de réglage.

user795305
la source

Filet élastique de groupe

Réponses: