Qu'est-ce que le lasso dans l'analyse de régression?

82

Je cherche une définition non technique du lasso et de son utilisation.

regression lasso regularization shrinkage Paul Vogt
la source

De la page de Robert Tibshirani (l'auteur du papier original de lasso): Une explication simple de la régression de Lasso et du moindre angle .

112

Le LASSO (opérateur de sélection et de retrait le moins absolu) est une méthode de régression consistant à pénaliser la taille absolue des coefficients de régression.

En pénalisant (ou en contraignant de manière équivalente la somme des valeurs absolues des estimations), vous vous retrouvez dans une situation où certaines des estimations de paramètres peuvent être exactement nulles. Plus la sanction appliquée est importante, plus les estimations sont proches de zéro.

Ceci est pratique lorsque nous voulons une sélection automatique de caractéristiques / variables, ou lorsqu'il s'agit de prédicteurs hautement corrélés, où la régression standard aura généralement des coefficients de régression «trop grands».

https://web.stanford.edu/~hastie/ElemStatLearn/ (téléchargement gratuit) contient une bonne description de LASSO et des méthodes associées.

dcl
la source

Je suis nouveau sur le site c'est précisément l'information que je cherchais; Merci beaucoup.

Paul Vogt

Existe-t-il un fichier PDF expliquant comment le résoudre à l'aide du problème double?

Royi

Le lien est cassé

Oliver Angelil

3

La régression LASSO est un type d’analyse de régression dans laquelle la sélection et la régulation des variables ont lieu simultanément. Cette méthode utilise une pénalité qui affecte leur valeur des coefficients de régression. Plus la pénalité augmente, plus les coefficients deviennent zéro et vice versa. Il utilise la technique de normalisation L1 dans laquelle le paramètre de réglage est utilisé en tant que quantité de retrait. À mesure que le paramètre de réglage augmente, le biais augmente et, comme il diminue, la variance augmente. S'il est constant, aucun des coefficients n'est nul et, comme il tend vers l'infini, tous les coefficients seront nuls.

Shweta
la source

2

Dans la régression "normale" (MCO), l’objectif est de minimiser la somme des carrés résiduels (RSS) afin d’estimer les coefficients

\underset{β \in R^{p}}{argmin} \sum_{i = 1}^{n} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})^{2}

$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$

En cas de régression de LASSO, vous estimez les coefficients avec une approche légèrement différente:

\underset{β \in R^{p}}{argmin} \sum_{i = 1}^{n} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})^{2} + λ \sum_{j = 1}^{p} | β_{j} |

$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$

La nouvelle partie est surlignée en rouge, somme des valeurs des coefficients absolus pénalisés par , donc contrôle la quantité de régulation (L1). $\lambda$ $\lambda$

Notez que si , il en résulterait les mêmes coefficients que celui de la régression linéaire simple. La formule montre que, dans le cas de LASSO, nécessite à la fois que les règles RSS et L1 (nouvelle partie rouge) soient minimales. Si , la pénalité L1 rouge contraint la taille des coefficients, de sorte que le coefficient ne peut augmenter que si cela conduit à la même réduction de RSS. Plus généralement, les coefficients ne peuvent augmenter que si nous constatons une diminution comparable de la somme des carrés résiduels (RSS). Ainsi, plus vous placez haut $\lambda = 0$ $\operatorname{argmin}$ $\lambda = 1$ $\lambda$ plus les coefficients sont pénalisés et plus les coefficients sont petits, certains peuvent devenir nuls. Cela signifie que LASSO peut générer des modèles parcimonieux en sélectionnant les fonctionnalités et empêche le modèle de surapprentissage. Cela dit, vous pouvez utiliser LASSO si vous disposez de nombreuses fonctionnalités et que votre objectif est plutôt de prévoir des données que d'interpréter les coefficients de votre modèle.

rocher
la source

1

Merci pour votre réponse (+1). Ce site supporte , pourriez-vous poster les formules dans ? Cela les rendrait lisibles pour les utilisateurs malvoyants. Notez que vous pouvez même utiliser des couleurs comme ici (cliquez sur "éditer" pour voir la réponse brute) et des dessous comme ici pour faire des figures similaires. Merci.

T E X

$\TeX$

T E X

$\TeX$

Tim

@ Tim: Merci beaucoup pour cela! C’était un bon conseil de cliquer sur Modifier pour voir comment cela se fait.

bloc

Qu'est-ce que le lasso dans l'analyse de régression?

Réponses: