Intuition pour les degrés de liberté du LASSO

Zou et al. "Sur les" degrés de liberté "du lasso" (2007) montrent que le nombre de coefficients non nuls est une estimation non biaisée et cohérente des degrés de liberté du lasso.

Cela me semble un peu contre-intuitif.

• Supposons que nous ayons un modèle de régression (où les variables sont à moyenne nulle)

$$y=\beta x + \varepsilon.$$

• Supposons qu'un OLS sans restriction estimation de est β O L S = 0,5 . Elle pourrait à peu près coïncider avec une estimation LASSO de β pour une intensité de pénalité très faible.$\beta$$\hat\beta_{OLS}=0.5$$\beta$
• Supposons en outre que l'estimation LASSO pour une intensité de pénalité particulière est β L A S S O , λ * = 0,4 . Par exemple, λ ∗ pourrait être le «optimal» λ pour l'ensemble de données à portée de main trouvé en utilisant la validation croisée. $\lambda^*$$\hat\beta_{LASSO,\lambda^*}=0.4$$\lambda^*$$\lambda$
• Si je comprends bien, dans les deux cas, les degrés de liberté sont de 1 car les deux fois il y a un coefficient de régression non nul.

Question:

• Comment viennent les degrés de liberté dans les deux cas sont les mêmes , même si β L A S S O , λ * = 0,4 suggère moins « liberté » dans l' ajustement de β O L S = 0,5 ?$\hat\beta_{LASSO,\lambda^*}=0.4$$\hat\beta_{OLS}=0.5$

Les références:

• Zou, Hui, Trevor Hastie et Robert Tibshirani. "Sur les" degrés de liberté "du lasso." The Annals of Statistics 35.5 (2007): 2173-2192.

Supposons qu'on nous donne un ensemble de observations à p dimensions, x i ∈ R p , i = 1 , … , n . On suppose un modèle de la forme: Y i = ⟨ la ß , x i ⟩ + ε où ε ~ N ( 0 , σ 2 ) , la ß ∈ R p , et ⟨ ⋅ , ⋅ ⟩ désignant le produit scalaire. $n$ $p$$x_i \in \mathbb{R}^p$$i = 1, \dotsc, n$

$$\begin{align} Y_i = \langle \beta, x_i\rangle + \epsilon \end{align}$$ $\epsilon \sim N(0, \sigma^2)$$\beta \in \mathbb{R}^p$$\langle \cdot, \cdot \rangle$soit une estimation deβ enutilisant la méthode d'ajustementδ(soit OLS ou LASSO pour nos besoins). La formule pourdegrés de liberté donnés dans l'article (équation 1.2) est: df ( β ) = n Σ i = 1 Cov ( ⟨ β , x i ⟩ , Y i$\hat{\beta} = \delta(\{Y_i\}_{i=1}^n)$$\beta$$\delta$ $$\begin{align} \text{df}(\hat{\beta}) = \sum_{i=1}^n \frac{\text{Cov}(\langle\hat{\beta}, x_i\rangle, Y_i)}{\sigma^2}. \end{align}$$

En inspectant cette formule, nous pouvons supposer que, selon votre intuition, le vrai DOF pour le LASSO sera en effet inférieur au vrai DOF d'OLS; le retrait de coefficient effectué par le LASSO devrait tendre à diminuer les covariances.

Maintenant, pour répondre à votre question, la raison pour laquelle le DOF pour le LASSO est le même que le DOF pour OLS dans votre exemple est simplement que vous avez affaire à des estimations (quoique non biaisées), obtenues à partir d'un ensemble de données particulier échantillonné à partir du modèle , des vraies valeurs DOF. Pour tout ensemble de données particulier, une telle estimation ne sera pas égale à la vraie valeur (d'autant plus que l'estimation doit être un entier alors que la vraie valeur est un nombre réel en général).

$\lambda$