Quelle est la plage typique de valeurs possibles pour le paramètre de rétrécissement dans la régression pénalisée?

En régression lasso ou crête, il faut spécifier un paramètre de rétrécissement, souvent appelé par ou α . Cette valeur est souvent choisie par validation croisée en vérifiant un tas de valeurs différentes sur les données d'entraînement et en voyant celle qui donne le meilleur, par exemple R 2 sur les données de test. Quelle est la plage de valeurs à vérifier? Est-ce ( 0 , 1 $\lambda$$\alpha$$R^2$$(0,1)$ ?

Vous n'avez pas vraiment besoin de vous embêter. Dans la plupart des packages (comme glmnet) si vous ne spécifiez pas , le package logiciel génère sa propre séquence (ce qui est souvent recommandé). La raison pour laquelle j'insiste sur cette réponse est que pendant le fonctionnement du LASSO, le solveur génère une séquence de λ , de sorte qu'il peut contre-intuitif de fournir un seul $\lambda$$\lambda$$\lambda$ la valeur peut effectivement ralentir le solveur considérablement diminué (Lorsque vous fournissez un paramètre exact des stations de Solver résoudre un programme semi-défini qui peut être lent pour des cas raisonnablement `` simples ''.)

Quant à la valeur exacte de vous pouvez potentiellement choisir ce que vous voulez parmi [ 0 , ∞ [ . Notez que si votre valeur λ est trop grande, la pénalité sera trop grande et donc aucun des coefficients ne peut être différent de zéro. Si la pénalité est trop petite, vous suréquiperez le modèle et ce ne sera pas la meilleure solution validée croisée $\lambda$$[0,\infty[$$\lambda$