Interprétation des coefficients de régression LASSO

12

Je travaille actuellement sur la construction d'un modèle prédictif pour un résultat binaire sur un ensemble de données avec environ 300 variables et 800 observations. J'ai beaucoup lu sur ce site sur les problèmes liés à la régression pas à pas et pourquoi ne pas l'utiliser.

J'ai lu la régression LASSO et sa capacité de sélection de fonctionnalités et j'ai réussi à l'implémenter avec l'utilisation du package "caret" et de "glmnet".

Je suis capable d'extraire le coefficient du modèle avec l'optimal lambdaet alphade "caret"; cependant, je ne sais pas comment interpréter les coefficients.

  • Les coefficients LASSO sont-ils interprétés selon la même méthode que la régression logistique?
  • Serait-il approprié d'utiliser les caractéristiques sélectionnées de LASSO dans la régression logistique?

ÉDITER

Interprétation des coefficients, comme dans les coefficients exponentiels de la régression LASSO comme les cotes logarithmiques pour un changement de 1 unité du coefficient tout en maintenant tous les autres coefficients constants.

https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpret-odds-ratios-in-logistic-regression/

multiple-regression predictive-models interpretation regression-coefficients lasso Michael Luu
la source
Pouvez-vous compléter un peu ce que vous entendez par «interprété de la même manière que la régression logistique»? Je serais très utile de savoir exactement quelles interprétations vous souhaitez généraliser.
Matthew Drury
1
@Matthew Drury - Merci beaucoup d'avoir pris le temps de m'aider, car mes cours n'ont jamais dépassé LASSO. En général, d'après ce que l'on m'a enseigné pendant mes études supérieures, les coefficients exponentiels d'une régression logistique donnent les probabilités logarithmiques d'une augmentation de 1 unité du coefficient tout en maintenant tous les autres coefficients constants.
Michael Luu
1
Dans "caret", vous sélectionnez et λ . D'où vient α ? S'agit-il probablement d'un hyperparamètre d'un filet élastique (le poids relatif de LASSO par rapport à la pénalité de crête) (auquel cas vous utiliseriez réellement un filet élastique plutôt que LASSO)? αλα
Richard Hardy
Pour autant que je sache, les tests de signification des coefficients n'ont pas été introduits dans la plupart des implémentations de LASSO. Donc, une différence ne pourrait-elle pas être que même si nous pouvons déterminer des variables statistiquement significatives dans OLS, nous ne pouvons pas le faire avec LASSO, sauf en affirmant plus faiblement que les coefficients LASSO des variables correspondantes sélectionnées sont les variables "importantes" à considérer?
2016

Réponses:

13

Les coefficients LASSO sont-ils interprétés selon la même méthode que la régression logistique?

Permettez-moi de reformuler: les coefficients LASSO sont-ils interprétés de la même manière que, par exemple, les coefficients de vraisemblance maximale OLS dans une régression logistique?

LASSO (une méthode d'estimation pénalisée) vise à estimer les mêmes quantités (coefficients du modèle) que, par exemple, le maximum de vraisemblance OLS (une méthode non pénalisée). Le modèle est le même et l'interprétation reste la même. Les valeurs numériques de LASSO seront normalement différentes de celles du maximum de vraisemblance OLS : certaines seront plus proches de zéro, d'autres seront exactement nulles. Si une pénalisation raisonnable a été appliquée, les estimations LASSO se situeront plus près des valeurs réelles que les estimations du maximum de vraisemblance OLS , ce qui est un résultat souhaitable.

Serait-il approprié d'utiliser les caractéristiques sélectionnées de LASSO dans la régression logistique?

Il n'y a pas de problème inhérent à cela, mais vous pouvez utiliser LASSO non seulement pour la sélection des fonctionnalités mais également pour l'estimation des coefficients. Comme je l'ai mentionné ci-dessus, les estimations de LASSO peuvent être plus précises que, disons, les estimations du maximum de vraisemblance de l' OLS .

Richard Hardy
la source
Merci beaucoup pour cette réponse! Ça fait beaucoup de sens! Veuillez excuser mes connaissances limitées en la matière. Comme vous l'avez mentionné dans un autre commentaire, j'utilise peut-être un filet élastique plutôt que LASSO via caret car il choisit le lambda et l'alpha optimaux. En serait-il de même en ce qui concerne les coefficients?
Michael Luu
Oui, ce serait le cas. La logique de base reste la même.
Richard Hardy
Vous écrivez "l'interprétation reste la même". Pourriez-vous m'aider à comprendre ce point? Il me semble que l'interprétation des coefficients OLS dans un cadre de régression multiple repose sur des graphiques de régression partielle . Cependant, cette propriété n'est pas valable pour les coefficients de lasso, ce qui m'amène à penser que l'interprétation serait différente.
user795305
1
@Ben, Si nous supposons un modèle statistique sous-jacent, nous pouvons estimer ses paramètres de différentes manières, deux populaires étant OLS et lasso. Les coefficients estimés ciblent les mêmes cibles, et les deux ont une certaine erreur d'estimation (qui, si elle est au carré, peut être décomposée en biais et variance), donc dans ce sens, leur interprétation est la même. Maintenant, bien sûr, les méthodes ne sont pas les mêmes, vous obtenez donc différentes valeurs de coefficient estimées. Si vous vous souciez des méthodes et de leurs interprétations algébriques et géométriques, ce ne sont pas les mêmes. Mais les interprétations du sujet sont les mêmes.
Richard Hardy
(1,…,p)T