Pourquoi la meilleure sélection de sous-ensembles n'est-elle pas favorisée par rapport au lasso?

Je lis sur la meilleure sélection de sous-ensembles dans le livre Elements of statistics learning. Si j'ai 3 prédicteurs , je crée sous-ensembles:$x_1,x_2,x_3$$2^3=8$

1. Sous-ensemble sans prédicteurs
2. sous-ensemble avec prédicteur$x_1$
3. sous-ensemble avec prédicteur$x_2$
4. sous-ensemble avec prédicteur $x_3$
5. sous-ensemble avec prédicteurs $x_1,x_2$
6. sous-ensemble avec prédicteurs $x_1,x_3$
7. sous-ensemble avec prédicteurs $x_2,x_3$
8. sous-ensemble avec prédicteurs $x_1,x_2,x_3$

Ensuite, je teste tous ces modèles sur les données de test pour choisir le meilleur.

Maintenant, ma question est la suivante: pourquoi la meilleure sélection de sous-ensembles n'est-elle pas favorisée par rapport, par exemple, au lasso?

Si je compare les fonctions de seuillage du meilleur sous-ensemble et du lasso, je vois que le meilleur sous-ensemble met certains des coefficients à zéro, comme le lasso. Mais, les autres coefficients (non nuls) auront toujours les valeurs ols, ils seront non biaisés. Alors qu'au lasso, certains des coefficients seront nuls et les autres (non nuls) auront un certain biais. La figure ci-dessous le montre mieux:

Sur l'image, la partie de la ligne rouge dans le meilleur cas de sous-ensemble est posée sur la ligne grise. L'autre partie se situe dans l'axe des x où certains des coefficients sont nuls. La ligne grise définit les solutions non biaisées. Dans le lasso, un certain biais est introduit par . De cette figure, je vois que le meilleur sous-ensemble est meilleur que le lasso! Quels sont les inconvénients de l'utilisation du meilleur sous-ensemble?$\lambda$

Dans la sélection de sous-ensemble, les paramètres non nuls ne seront non biaisés que si vous avez choisi un sur-ensemble du modèle correct, c'est-à-dire si vous avez supprimé uniquement les prédicteurs dont les valeurs de coefficient réelles sont nulles. Si votre procédure de sélection vous a conduit à exclure un prédicteur avec un vrai coefficient non nul, toutes les estimations de coefficient seront biaisées. Cela va à l'encontre de votre argument si vous convenez que la sélection n'est généralement pas parfaite.

Ainsi, pour être «sûr» d'une estimation de modèle non biaisée, vous devriez vous tromper en incluant davantage, voire tous les prédicteurs potentiellement pertinents. Autrement dit, vous ne devez pas sélectionner du tout.

pourquoi est-ce une mauvaise idee? En raison du compromis biais-variance. Oui, votre grand modèle sera non biaisé, mais il aura une grande variance, et la variance dominera l'erreur de prédiction (ou autre).

Par conséquent, il est préférable d'accepter que les estimations des paramètres seront biaisées mais ont une variance plus faible (de régularisation), plutôt que de l' espoir que notre sélection de sous - ensemble a seulement enlevé vrai zéro paramètres que nous avons un modèle sans biais plus grande variance.

Étant donné que vous écrivez que vous évaluez les deux approches à l'aide de la validation croisée, cela atténue certaines des préoccupations ci-dessus. Il reste un problème pour le meilleur sous-ensemble: il contraint certains paramètres à être exactement zéro et laisse les autres flotter librement. Il y a donc une discontinuité dans l'estimation, qui n'existe pas si l'on ajuste le lasso au-delà d'un point λ 0 où un prédicteur p est inclus ou exclu. Supposons que la validation croisée génère un λ "optimal" proche de λ 0 , de sorte que nous ne savons pas vraiment si p doit être inclus ou non. Dans ce cas, je dirais qu'il est plus logique de limiter l'estimation des paramètres de$\lambda$$\lambda_0$$p$$\lambda$$\lambda_0$$\hat{\beta}_p$via le lasso à un petit ( en absolu) valeur, plutôt que d' exclure soit , ou le laisser flotter librement, β p = β OLS p , en tant que meilleur sous - ensemble ne.$\hat{\beta}_p=0$$\hat{\beta}_p=\hat{\beta}_p^{\text{OLS}}$

Cela peut être utile: pourquoi le retrait fonctionne-t-il?

En principe, si le meilleur sous-ensemble peut être trouvé, il est en effet meilleur que le LASSO, en termes de (1) sélection des variables qui contribuent réellement à l'ajustement, (2) non sélection des variables qui ne contribuent pas à l'ajustement, (3) la précision des prévisions et (4) la production d'estimations essentiellement non biaisées pour les variables sélectionnées. Un article récent qui a plaidé pour la qualité supérieure du meilleur sous-ensemble par rapport à LASSO est celui de Bertsimas et al (2016) «Meilleure sélection de sous-ensemble via une lentille d'optimisation moderne» . Un autre exemple plus ancien donnant un exemple concret (sur la déconvolution des trains à crampons) où le meilleur sous-ensemble était meilleur que LASSO ou la crête est celui de Rooi et Eilers (2011).

$L_0$$L_1$$L_0$$L_q$une régression pénalisée standard avec q proche de 0 serait en principe plus proche de la meilleure sélection de sous-ensemble que LASSO, mais ce n'est plus un problème d'optimisation convexe, et donc assez difficile à ajuster ).

Pour réduire le biais du LASSO, on peut utiliser des approches dérivées à plusieurs étapes, telles que le LASSO adaptatif (où les coefficients sont pénalisés différentiellement sur la base d'une estimation préalable à partir d'un minimum de carrés ou d'un ajustement de régression de crête) ou LASSO détendu (une solution simple étant de faire un ajustement des moindres carrés des variables sélectionnées par le LASSO). Par rapport au meilleur sous-ensemble, LASSO a cependant tendance à sélectionner un peu trop de variables. La meilleure sélection de sous-ensembles est meilleure, mais plus difficile à ajuster.

$L_0$fournit une comparaison approfondie du meilleur sous-ensemble, LASSO et certaines variantes de LASSO comme le LASSO détendu, et ils affirment que le LASSO détendu était celui qui a produit la plus grande précision de prédiction du modèle dans le plus large éventail de circonstances, c'est-à-dire qu'ils sont arrivés à une conclusion différente de celle Bertsimas. Mais la conclusion sur ce qui est le mieux dépend beaucoup de ce que vous considérez le mieux (par exemple, la précision de prédiction la plus élevée ou la meilleure pour sélectionner les variables pertinentes et ne pas inclure celles qui ne sont pas pertinentes; la régression de crête, par exemple, sélectionne généralement beaucoup trop de variables, mais la précision de la prédiction pour les cas avec les variables très colinéaires peuvent néanmoins être vraiment bonnes).

Pour un très petit problème avec 3 variables comme vous le décrivez, il est clair que la meilleure sélection de sous-ensemble est l'option préférée.