GLMNET ou LARS pour le calcul des solutions LASSO?

Je voudrais obtenir les coefficients du problème LASSO

Le problème est que les fonctions glmnet et lars donnent des réponses différentes. Pour la fonction glmnet, je demande les coefficients de $\lambda/||Y||$au lieu de simplement $\lambda$ , mais j'obtiens toujours des réponses différentes.

Est-ce attendu? Quelle est la relation entre le lars $\lambda$ et le glmnet $\lambda$ ? Je comprends que glmnet est plus rapide pour les problèmes LASSO mais je voudrais savoir quelle méthode est la plus puissante?

deps_stats J'ai peur que la taille de mon ensemble de données soit si grande que LARS ne puisse pas le gérer, alors que d'un autre côté, glmnet peut gérer mon grand ensemble de données.

mpiktas Je veux trouver la solution de (Y-Xb) ^ 2 + L \ sum | b_j | mais quand je demande aux deux algorithmes (lars et glmnet) leurs coefficients calculés pour ce L particulier, j'obtiens des réponses différentes ... et je me demande si c'est correct / attendu? ou j'utilise juste une mauvaise lambda pour les deux fonctions.

D'après mon expérience, LARS est plus rapide pour les petits problèmes, les problèmes très clairsemés ou les problèmes très «larges» (beaucoup plus de fonctionnalités que les échantillons). En effet, son coût de calcul est limité par le nombre de fonctionnalités sélectionnées, si vous ne calculez pas le chemin de régularisation complet. En revanche, pour les gros problèmes, glmnet (optimisation de la descente de coordonnées) est plus rapide. Entre autres choses, la descente de coordonnées a un bon modèle d'accès aux données (compatible avec la mémoire) et elle peut bénéficier d'une redondance dans les données sur de très grands ensembles de données, car elle converge avec des ajustements partiels. En particulier, il ne souffre pas d'ensembles de données fortement corrélés.

La conclusion que nous (les principaux développeurs de scikit-learn ) sommes venus aussi est que, si vous n'avez pas une bonne connaissance a priori de vos données, vous devriez plutôt utiliser glmnet (ou optimiser l'optimisation de la descente, pour parler d'un algorithme plutôt qu’une mise en œuvre).

Des repères intéressants peuvent être comparés dans la thèse de Julien Mairal:

http://www.di.ens.fr/~mairal/resources/pdf/phd_thesis.pdf

Section 1.4, en particulier 1.4.5 (page 22)

Julien arrive à des conclusions légèrement différentes, bien que son analyse du problème soit similaire. Je soupçonne que c'est parce qu'il était très intéressé par des problèmes très larges.

LASSO n'est pas unique dans le cas où plusieurs fonctionnalités ont une colinéarité parfaite. Voici une simple expérience de pensée pour le prouver.

Disons que vous avez trois vecteurs aléatoires , x 1 , x 2 . Vous essayez de prédire y à partir de x 1 , x 2 . Supposons maintenant y = x 1 = x 2 . Une solution LASSO optimale serait β 1 = 1 - P , β 2 = 0 , où P est l'effet de la pénalité LASSO. Cependant, optimal serait également β 1 = 0 , β 2$y$$x_1$$x_2$$y$$x_1$$x_2$$y$$x1$$x2$$\beta_1 = 1 - P$$\beta_2 = 0$$P$$\beta_1 = 0$ .$\beta_2 - 1 - P$

Lars et Glmnet donnent des solutions différentes pour le problème du Lasso, car ils utilisent des fonctions objectives légèrement différentes et différentes standardisations des données. Vous pouvez trouver le code de détails pour la reproduction dans la question connexe Pourquoi Lars et Glmnet donnent-ils des solutions différentes au problème du lasso?