R - Régression Lasso - Lambda différente par régresseur

Je veux faire ce qui suit:

1) Régression OLS (pas de terme de pénalisation) pour obtenir les coefficients bêta ; représente les variables utilisées pour régresser. Je le fais en$b_{j}^{*}$$j$

lm.model = lm(y~ 0 + x)
betas    = coefficients(lm.model)

2) Régression au lasso avec un terme de pénalisation, les critères de sélection seront les critères d'information bayésiens (BIC), donnés par

où représente le nombre de variables / régresseurs, T le nombre d'observations et b_ {j} ^ {*} les bêtas initiaux obtenus à l'étape 1). Je veux avoir des résultats de régression pour cette valeur \ lambda_j spécifique , qui est différente pour chaque régresseur utilisé. Donc s'il y a trois variables, il y aura trois valeurs différentes \ lambda_j .$j$$T$$b_{j}^{*}$$\lambda_j$$\lambda_j$

Le problème d'optimisation OLS-Lasso est alors donné par

Comment puis-je faire cela en R avec le paquet lars ou glmnet? Je ne trouve pas un moyen de spécifier lambda et je ne suis pas sûr à 100% si j'obtiens les bons résultats si je lance

lars.model <- lars(x,y,type = "lasso", intercept = FALSE)
predict.lars(lars.model, type="coefficients", mode="lambda")

J'apprécie toute aide ici.

Mise à jour:

J'ai utilisé le code suivant maintenant:

fits.cv = cv.glmnet(x,y,type="mse",penalty.factor = pnlty)
lmin    = as.numeric(fits.cv[9]) #lambda.min
fits    = glmnet(x,y, alpha=1, intercept=FALSE, penalty.factor = pnlty)
coef    = coef(fits, s = lmin)

Dans la ligne 1, j'utilise la validation croisée avec mon facteur de pénalité spécifié ( ), qui est différent pour chaque régresseur . La ligne 2 sélectionne le "lambda.min" de fit.cv, qui est le lambda qui donne l'erreur de validation croisée moyenne minimale. La ligne 3 effectue un ajustement au lasso ( ) sur les données. Encore une fois, j'ai utilisé le facteur de pénalité . La ligne 4 extrait les coefficients des ajustements qui appartiennent au "optimal" choisi à la ligne 2.λ$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$alpha=1$\lambda$$\lambda$

J'ai maintenant les coefficients bêta pour les régresseurs qui décrivent la solution optimale du problème de minimisation

avec un facteur de pénalité . L'ensemble optimal de coefficients est très probablement un sous-ensemble des régresseurs que j'ai utilisé initialement, c'est une conséquence de la méthode du Lasso qui réduit le nombre de régresseurs utilisés.$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$

Ma compréhension et le code sont-ils corrects?

De la glmnetdocumentation ( ?glmnet), nous voyons qu'il est possible d'effectuer un retrait différentiel. Cela nous permet au moins à mi-chemin de répondre à la question d'OP.

penalty.factor: Des facteurs de pénalité distincts peuvent être appliqués à chaque coefficient. C'est un nombre qui se multiplie lambdapour permettre un retrait différentiel. Peut être 0 pour certaines variables, ce qui n'implique aucun rétrécissement, et cette variable est toujours incluse dans le modèle. La valeur par défaut est 1 pour toutes les variables (et implicitement l'infini pour les variables répertoriées dans exclude). Remarque: les facteurs de pénalité sont redimensionnés en interne pour correspondre à nvars, et la lambdaséquence reflétera ce changement.

Pour répondre pleinement à la question, cependant, je pense qu'il y a deux approches à votre disposition, selon ce que vous voulez accomplir.

1. Votre question est de savoir comment appliquer la réduction différentielle dans glmnetet récupérer les coefficients pour une valeur spécifique . Fournir st certaines valeurs ne sont pas égales à 1 permet un retrait différentiel à n'importe quelle valeur de . Pour obtenir le rétrécissement st le rétrécissement pour chaque est , il suffit de faire de l'algèbre. Soit le facteur de pénalité pour , ce qui serait fourni . De la documentation, nous pouvons voir que ces valeurs sont remises à l'échelle par un facteur st . Cela signifie que$\lambda$penalty.factor$\lambda$$b_j$$\phi_j= \frac{\log T}{T|b_j^*|}$$\phi_j$$b_j$penalty.factor$C\phi_j=\phi^\prime_j$$m=C\sum_{j=1}^m \frac{\log T}{T|b^*_j|}$$\phi_j^\prime$remplace dans l'expression d'optimisation ci-dessous. donc pour , fournissez les valeurs à , puis extrayez les coefficients pour . Je recommanderais d'utiliser .$\phi_j$$C$$\phi_j^\prime$glmnet$\lambda=1$coef(model, s=1, exact=T)

2. La seconde est la façon «standard» d'utiliser glmnet: on effectue une validation croisée répétée fold pour sélectionner telle sorte que vous minimisez MSE hors échantillon. C'est ce que je décris ci-dessous plus en détail. La raison pour laquelle nous utilisons CV et vérifions le MSE hors échantillon est que le MSE dans l'échantillon sera toujours minimisé pour , c'est-à-dire que est un MLE ordinaire. L'utilisation de CV tout en variant nous permet d'estimer la performance du modèle sur des données hors échantillon et de sélectionner un qui est optimal (dans un sens spécifique).$k$$\lambda$$\lambda=0$$b$$\lambda$$\lambda$

Cet glmnetappel ne spécifie pas un (il ne devrait pas non plus, car il calcule la trajectoire entière par défaut pour des raisons de performances). renverra les coefficients de la valeur . Mais quel que soit le choix de vous fournissez, le résultat reflétera la pénalité différentielle que vous avez appliquée dans l'appel pour s'adapter au modèle.$\lambda$$\lambda$coef(fits,s=something)$\lambda$something$\lambda$

La manière standard de sélectionner une valeur optimale de est d'utiliser plutôt que . La validation croisée est utilisée pour sélectionner la quantité de retrait qui minimise l'erreur hors échantillon, tandis que la spécification de réduit certaines fonctionnalités plus que d'autres, selon votre schéma de pondération.$\lambda$cv.glmnetglmnetpenalty.factor

Cette procédure optimise

où est le facteur de pénalité pour la fonction (ce que vous fournissez dans l' argument). (Ceci est légèrement différent de votre expression d'optimisation; notez que certains des indices sont différents.) Notez que le terme est le même pour toutes les fonctionnalités, donc la seule façon dont certaines fonctionnalités sont plus réduites que d'autres est via . Surtout, et ne sont pas identiques; est scalaire et est un vecteur! Dans cette expression, est fixe / supposé connu; c'est-à-dire que l'optimisation choisira le optimal , pas le optimalj t h λ ϕ j λ ϕ λ ϕ λ b $\phi_j$$j^{th}$penalty.factor$\lambda$$\phi_j$$\lambda$$\phi$$\lambda$$\phi$$\lambda$$b$$\lambda$.

C'est essentiellement la motivation de ce glmnetque je comprends: utiliser la régression pénalisée pour estimer un modèle de régression qui n'est pas trop optimiste quant à ses performances hors échantillon. Si tel est votre objectif, c'est peut-être la bonne méthode pour vous après tout.