Pourquoi R Squared n'est-il pas une bonne mesure pour les régressions ajustées avec LASSO?

Le but de l'utilisation de LASSO est d'obtenir une représentation clairsemée (d'une quantité prédite) dans le sens de ne pas avoir beaucoup de covariables. La comparaison des modèles avec tend à favoriser les modèles avec beaucoup de covariables: en fait, l'ajout de covariables sans rapport avec le résultat ne diminuera jamais et l'augmentera presque toujours au moins un peu. Le modèle LASSO identifiera le modèle avec la probabilité logarithmique pénalisée optimale (une log-vraisemblance non pénalisée est monotone liée au ). Les statistiques de validation qui sont plus largement utilisées pour comparer les modèles LASSO à d'autres types de modèles sont, par exemple, le BIC ou validation croisée . $R^2$ $R^2$ $R^2$ $R^2$

AdamO
la source

+1 pour présenter clairement la raison et fournir une alternative

Haitao Du

Merci beaucoup pour la bonne réponse! Pourriez-vous élaborer sur "Le modèle LASSO identifiera le modèle avec la probabilité logarithmique pénalisée optimale (une log-vraisemblance non pénalisée est monotone liée au R2)." Je prends la première partie pour signifier qu'il choisira le modèle avec le moins d'erreur (en prédiction et via la pénalisation)? Mais je ne sais pas ce que signifie le bit entre parenthèses. Est-ce à dire que la LL non pénalisée augmente à mesure que R2 diminue? De plus, le R2 à validation croisée doit-il être dans un ensemble de données entièrement nouveau? Ou peut-il être basé sur les données d'entraînement?

Dave

@ Dave Je pense que vous avez la bonne idée. Le modèle de régression linéaire est un LASSO sans pénalité, et la log-vraisemblance est simplement alors que le R2 n'est que de . La pénalisation contribue indirectement à l'erreur, c'est un prix à payer pour imposer la rareté. Le modèle non pénalisé aura toujours une erreur (interne) inférieure. Les gens font généralement une validation croisée avec le même ensemble de données. Tester des modèles dans de nouveaux ensembles de données est une tout autre chose (pas besoin de la partie "croisée") et ce n'est pas assez fait.

\log (2 π) N + 1 - \log (N) + \log (\sum_{i = 1}^{n} r_{i}^{2})

$\log(2\pi)N+1−\log(N)+\log(\sum_{i=1}^n r_i^2)$

1 - \sum_{i = 1}^{n} r_{i}^{2} / \sum_{i = 1}^{n} y_{i}^{2}

$1 - \sum_{i=1}^n r_i^2/\sum_{i=1}^ny_i^2$

AdamO

@AdamO Je pense que ce serait une bonne idée de modifier votre commentaire dans votre réponse, c'est très bien.

Matthew Drury

Bonjour @AdamO une dernière question de suivi. Je comprends maintenant pourquoi le R2 traditionnel est une mauvaise mesure. Mais, je ne sais pas pourquoi R2 validé (dans le même ensemble de données) est correct?

Dave

Pourquoi R Squared n'est-il pas une bonne mesure pour les régressions ajustées avec LASSO?

Réponses: