Quelle est la signification du chemin de régularisation dans LASSO ou les problèmes de rareté associés?

8

Si nous sélectionnons différentes valeurs du paramètre , nous pourrions obtenir des solutions avec différents niveaux de rareté. Cela signifie-t-il que le chemin de régularisation est de savoir comment sélectionner la coordonnée qui pourrait obtenir une convergence plus rapide? Je suis un peu confus même si j'ai souvent entendu parler de la rareté. De plus, pourriez-vous donner une description simple des solutions existantes au problème?λLASSO

exploitation minière
la source

Réponses:

13

Supposons que vous ayez un modèle avec p variables prédictives: X1,X2,Xp . Définissez λ sur une valeur initiale et estimez vos coefficients β1,β2,βp . Ces coefficients peuvent être considérés comme un point dans l'espace p dimensionnel. *

Répétez la procédure pour votre prochaine valeur de et obtenez un autre ensemble d'estimations. Ceux-ci forment un autre point dans l'espace dimensionnel. Faites cela pour toutes vos valeurs , et vous obtiendrez une séquence de ces points. Cette séquence est le chemin de régularisation.λpλ


* Il y a aussi le terme d'interception donc tout cela se déroule techniquement dans un espace dimensionnel, mais peu importe. Quoi qu'il en soit, la plupart des programmes net / lasso élastiques normaliseront les variables avant d'ajuster le modèle, donc sera toujours à 0.β0(p+1)β0

Hong Ooi
la source
4

Une explication graphique de la solution Lasso peut être trouvée aux pages 69-73 du texte "Elements of Statistical Learning" (version en ligne ici ).

drollix
la source
1
Merci Monsieur! Oui! C'est Fig. 3.10le chemin de régularisation du lasso.
exploitation minière