Standardisation vs normalisation pour la régression Lasso / Ridge

9

Je sais qu'il est courant de normaliser les caractéristiques de régression de crête et de lasso, mais serait-il plus pratique de normaliser les caractéristiques sur une échelle (0,1) comme alternative à la standardisation du score z pour ces méthodes de régression?

normalization lasso standardization ridge-regression Steve
la source

Réponses:

4

Si vous appliquez la normalisation (compression dans [0,1]), vous aurez une mesure d'importance relative des variables, mais cela changera l'échelle de vos variables et vous perdrez toute interprétabilité du modèle. L'avantage de la normalisation est que vous pouvez toujours interpréter le modèle comme vous le feriez avec une régression OLS non régularisée (cela a déjà été déjà répondu ici ).

Digio
la source
3
Le modèle régularisé agit très différemment avec ou sans normalisation !! Plus précisément, si nous ne normalisons pas les fonctionnalités, nous aurons des pénalités différentes sur différentes fonctionnalités!
Haitao Du
1
Je parlais spécifiquement de l' interprétation du coefficient de Lasso , pas de l'estimation. Étant donné que les estimations changeraient, je serais curieux de savoir comment changerait l'interprétation des modèles.
Digio
1
Il ne me semble pas que la question à laquelle vous faites un lien dans votre réponse appuie le point que vous soulevez. Pourriez-vous expliquer plus en détail dans votre message d'origine pourquoi l'interprétation des coefficients ols n'est en accord avec les coefficients du lasso que lorsque les caractéristiques sont normalisées? Je vous remercie!
user795305
@Ben, vous avez mal compris ma réponse (ma faute peut-être). La réponse que j'ai liée à explique comment les coefficients du modèle en lasso et en régression simple (OLS ou autre) sont interprétés de la même manière - en toutes circonstances (normalisés ou non). Avec la normalisation (dans n'importe quel type ou régression paramétrique), vous perdez l'échelle d'origine et vous ne pouvez pas interpréter les coefficients sans rétro-transformation. Avec la normalisation, vous interprétez le modèle de la manière normale.
Digio
0

La normalisation est très importante pour les méthodes avec régularisation. En effet, l'échelle des variables affecte la quantité de régularisation qui s'applique à une variable spécifique.

Par exemple, supposons qu'une variable soit à très grande échelle, disons l'ordre des millions et qu'une autre variable soit de 0 à 1. Ensuite, nous pouvons penser que la régularisation aura peu d'effet sur la première variable.

En plus de la normalisation, la normaliser à 0 à 1 ou standardiser les fonctionnalités n'a pas trop d'importance.

Haitao Du
la source
1
Cette réponse énonce l'évidence. Par "normalisation", on entend ici la compression de toutes les valeurs dans [0,1], ce n'est pas juste un autre mot pour normalisation. La question porte sur les effets de la normalisation dans [0,1] par rapport à la normalisation ~ N (0,1) sur les coefficients du modèle.
Digio
Que signifie normaliser à [0,1]? Il existe de nombreuses façons d'y parvenir. Quelle est exactement votre recommandation pour une régression pénalisée?
Cagdas Ozgenc
1
Comme la question stipule de "normaliser les caractéristiques sur une échelle (0,1)", bien que le redimensionnement des caractéristiques soit peut-être un meilleur terme, il s'agit d'une technique générale pour produire des estimations de coefficient qui expriment une importance relative variable (similaire à la mesure de pureté de RF). Oui, il existe de nombreuses façons d'y parvenir et ce n'est pas quelque chose de spécifique à la régression pénalisée, mais cette question concerne l'effet du rééchelonnement des fonctionnalités (et non la normalisation) sur le Lasso.
Digio
que voulez-vous dire par "normaliser à 0 à 1 ou standardiser les fonctionnalités n'a pas trop d'importance"? Dans quel sens cela n'a-t-il pas trop d'importance? Pourriez-vous fournir une intuition ou des références pour cette revendication?
user795305