Je me demandais pourquoi les méthodes de sélection des modèles LASSO et LARS sont si populaires même si elles ne sont fondamentalement que des variations de la sélection pas à pas (et souffrent donc de la dépendance du chemin)?
De même, pourquoi les méthodes GETS (General to Specific) pour la sélection des modèles sont-elles le plus souvent ignorées, même si elles font mieux que LARS / LASSO parce qu'elles ne souffrent pas du problème de régression pas à pas? (référence de base pour le SEAOG: http://www.federationreserve.gov/pubs/ifdp/2005/838/ifdp838.pdf - le nouvel algorithme commence par une recherche de modèle et d'arborescence large qui évite la dépendance du chemin et a font souvent mieux que LASSO / LARS).
Cela semble juste étrange, LARS / LASSO semblent obtenir beaucoup plus d'exposition et de citations que General to Specific (GETS), quelqu'un a-t-il des pensées?
N'essayant pas d'entamer un débat houleux, recherchant plutôt une explication rationnelle pour laquelle la littérature semble se concentrer sur LASSO / LARS plutôt que sur le GETS et peu de gens soulignent en fait les lacunes de LASSO / LARS.
Réponses:
Avis de non-responsabilité: Je ne connais que de loin le travail sur la sélection de modèles de David F. Hendry, entre autres. Cependant, je sais par des collègues respectés qu'Hendry a fait des progrès très intéressants sur les problèmes de sélection des modèles en économétrie. Juger si la littérature statistique n'accorde pas suffisamment d'attention à son travail sur la sélection des modèles demanderait beaucoup plus de travail pour ma part.
Il est cependant intéressant d'essayer de comprendre pourquoi une méthode ou une idée génère beaucoup plus d'activité que d'autres. Nul doute qu'il y a aussi des aspects de la mode dans la science. Selon moi, le lasso (et ses amis) a un avantage majeur d'être la solution d'un problème d'optimisation très facilement exprimé. C'est la clé de la compréhension théorique détaillée de la solution et des algorithmes efficaces développés. Le livre récent, Statistics for High-Dimensional Data de Bühlmann et Van De Geer, illustre ce que l'on sait déjà du lasso.
Vous pouvez faire des études de simulation sans fin et vous pouvez, bien sûr, appliquer les méthodes que vous trouvez les plus pertinentes et adaptées à une application particulière, mais pour des parties de la littérature statistique, des résultats théoriques substantiels doivent également être obtenus. Le fait que le lasso a généré beaucoup d'activité montre qu'il existe des questions théoriques qui peuvent être réellement abordées et qu'elles ont des solutions intéressantes.
Un autre point est que Lasso ou variations n'effectuer bien dans de nombreux cas. Je ne suis tout simplement pas convaincu qu'il soit exact que le lasso soit si facilement surpassé par d'autres méthodes que le PO le suggère. Peut-être en termes de sélection de modèles (artificiels) mais pas en termes de performances prédictives. Aucune des références mentionnées ne semble vraiment comparer Gets et lasso non plus.
la source
Il existe une différence entre la sélection de sous-ensemble LASSO et (GETS): LASSO réduit les coefficients vers zéro de manière dépendante des données, contrairement à la sélection de sous-ensemble (GETS). Cela semble être un avantage de la sélection du sous-ensemble LASSO par rapport à (GETS), même si cela peut parfois échouer (il nécessite un réglage des paramètres, qui est normalement effectué via une validation croisée, et parfois nous pouvons arriver à un mauvais réglage).
La performance du GETS semble être de qualité comparable à LASSO lorsqu'elle est effectuée par des chercheurs impartiaux (?) (Mais pas nécessairement dans les articles où une nouvelle version du GETS est proposée - mais c'est ce à quoi vous vous attendez); voir quelques références dans ce fil .
Peut-être que Sir Hendry & Co obtient de bons résultats en utilisant le SEAOG en raison des spécificités de leurs applications (principalement la modélisation de séries chronologiques macroéconomiques)? Mais pourquoi est-ce possible? Ceci est une question distincte .
la source