Si la multi-colinéarité est élevée, les coefficients LASSO diminueraient-ils à 0?

Étant donné , quel est le comportement théorique des coefficients LASSO et pourquoi?$x_2 = 2 x_1$

Est-ce que l'un des ou se à ou les deux?$x_1$$x_2$$0$

require(glmnet)
x1 = runif(100, 1, 2)
x2 = 2*x1
x_train = cbind(x1, x2)
y = 100*x1 + 100 + runif(1)
ridge.mod = cv.glmnet(x_train, y, alpha = 1)
coef(ridge.mod)

#3 x 1 sparse Matrix of class "dgCMatrix"
#                       1
#(Intercept) 1.057426e+02
#x1          9.680073e+01
#x2          3.122502e-15

Notez que

$$\begin{align*} \|y-X\beta\|_2^2 + \lambda \|\beta\|_1 & = \|y - \beta_1 x_1 - \beta_2 x_2 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \|y - (\beta_1 + 2 \beta_2) x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right). \end{align*}$$

Pour toute valeur fixe du coefficient , la pénalitéest minimisé lorsque . En effet, la pénalité sur est deux fois plus pondérée! Pour mettre cela en notation,satisfait pour tout . Par conséquent, l'estimateur au lasso $\beta_1 + 2\beta_2$$|\beta_1| + |\beta_2|$$\beta_1 = 0$$\beta_1$

$$\tilde\beta = \arg\min_{\beta \, : \, \beta_1 + 2\beta_2 = K}|\beta_1| + |\beta_2|$$ $\tilde\beta_1 = 0$$K$ $$\begin{align*} \hat\beta & = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \\ & = \arg\min_{\beta \in \mathbb{R}^p} \|y - (\beta_1 + 2 \beta_2) x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \arg_\beta \min_{K \in \mathbb{R}} \, \min_{\beta \in \mathbb{R}^p \, : \, \beta_1 + 2 \beta_2 = K} \, \|y - K x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \arg_\beta \min_{K \in \mathbb{R}} \, \left\{ \|y - K x_1 \|_2^2 + \lambda \min_{\beta \in \mathbb{R}^p \, : \, \beta_1 + 2 \beta_2 = K} \, \left\{ \left( |\beta_1| + |\beta_2| \right) \right\} \right\} \end{align*}$$ satisfait . La raison pour laquelle les commentaires à la question de OP sont trompeurs est qu'il y a une pénalité sur le modèle: ceux$\hat\beta_1 = 0$$(0, 50)$et coefficients donnent la même erreur, mais une norme différente ! De plus, il n'est pas nécessaire de regarder quoi que ce soit comme les LAR: ce résultat découle immédiatement des premiers principes.$(100,0)$$\ell_1$

Comme l'a souligné Firebug, la raison pour laquelle votre simulation montre un résultat contradictoire est qu'elle met glmnetautomatiquement à l'échelle la variance unitaire des fonctionnalités. Autrement dit, en raison de l'utilisation de glmnet, nous sommes effectivement dans le cas où . Là, l'estimateur n'est plus unique: et sont tous deux dans l'arg min. En effet, est dans le pour tout tel que .$x_1 = x_2$$(100,0)$$(0,100)$$(a,b)$$\arg\min$$a,b \geq 0$$a+b = 100$

Dans ce cas de caractéristiques égales, glmnetconvergera en une seule itération: il seuil doucement le premier coefficient, puis le deuxième coefficient est mis à zéro par seuil doux.

Cela explique pourquoi la simulation a trouvé en particulier. En effet, le deuxième coefficient sera toujours nul, quel que soit l'ordre des caractéristiques.$\hat\beta_2 = 0$

Preuve: supposons WLOG que la fonctionnalité satisfait . La descente de coordonnées (l'algorithme utilisé par ) calcule pour sa première itération: suivi de où . Alors, puisque$x \in \mathbb{R}^n$$\|x\|_2 = 1$glmnet

$$\hat\beta_1^{(1)} = S_\lambda(x^T y)$$ $$\begin{align*} \hat\beta_2^{(1)} & = S_\lambda \left[ x^T \left( y - x S_\lambda (x^T y) \right) \right] \\ & = S_\lambda \left[ x^T y - x^T x \left( x^T y + T \right) \right] \\ & = S_\lambda \left[ - T \right] \\ & = 0, \end{align*}$$ $T = \begin{cases} - \lambda & \textrm{ if } x^T y > \lambda \\ \lambda & \textrm{ if } x^T y < -\lambda \\ 0 & \textrm{ otherwise} \end{cases}$$\hat\beta_2^{(1)}= 0$, la deuxième itération de la descente de coordonnées répétera les calculs ci-dessus. Inductivement, nous voyons que pour toutes les itérations et . Par conséquent , rapportera et puisque le critère d'arrêt est immédiatement atteint.$\hat\beta_j^{(i)} = \hat\beta_j^{(i)}$$i$$j \in \{1,2\}$glmnet$\hat\beta_1 = \hat\beta_1^{(1)}$$\hat\beta_2 = \hat\beta_2^{(1)}$

Lorsque je réexécute votre code, j'obtiens que le coefficient de est numériquement impossible à distinguer de zéro.$x_2$

Pour mieux comprendre pourquoi LASSO définit ce coefficient à zéro, vous devez examiner la relation entre LASSO et la régression du moindre angle (LAR). LASSO peut être considéré comme un LAR avec une modification spéciale.

L'algorithme de LAR est à peu près comme ceci: Commencez avec un modèle vide (sauf pour une interception). Ajoutez ensuite la variable prédictive la plus corrélée à , disons . le coefficient de ce prédicteur , jusqu'à ce que le résiduel soit également corrélé avec et une autre variable de prédicteur . ensuite les coefficients de et jusqu'à ce qu'un troisième prédicteur soit également corrélé avec le résiduel et ainsi de suite.$y$$x_j$$\beta_j$$y - c - x_j\beta_j$$x_j$$x_k$$x_j$$x_k$$x_l$$y - c - x_j\beta_j -x_k\beta_k$

LASSO peut être considéré comme LAR avec la torsion suivante: dès que le coefficient d'un prédicteur dans votre modèle (un prédicteur "actif") atteint zéro, supprimez ce prédicteur du modèle. C'est ce qui se produit lorsque vous régressez sur les prédicteurs colinéaires: les deux seront ajoutés au modèle en même temps et, à mesure que leurs coefficients seront modifiés, leur corrélation respective avec les résidus changera proportionnellement, mais l'un des prédicteurs sera supprimé de l'ensemble actif car il atteint zéro en premier. Quant à savoir lequel des deux prédicteurs colinéaires ce sera, je ne sais pas. [EDIT: Lorsque vous inversez l'ordre de et , vous pouvez voir que le coefficient de$y$$x_1$$x_2$$x_1$est mis à zéro. Ainsi, l'algorithme glmnet semble simplement mettre d'abord à zéro ces coefficients qui sont ordonnés plus tard dans la matrice de conception.]

Une source qui explique ces choses plus en détail est le chapitre 3 dans "Les éléments de l'apprentissage statistique" de Friedman, Hastie et Tibshirani.