Quels sont les avantages et les inconvénients de l'utilisation de LASSO pour l'analyse causale?

L'apprentissage statistique et ses résultats sont actuellement omniprésents en sciences sociales. Il y a quelques mois, Guido Imbens a déclaré: "LASSO est le nouvel OLS".

J'ai un peu étudié le Machine Learning et je sais que son objectif principal est la prédiction. Je suis également d'accord avec la distinction de Leo Breiman entre deux cultures de statistiques. Donc, de mon point de vue, la causalité s'oppose dans une certaine mesure à la prédiction.

Étant donné que les sciences essaient généralement d'identifier et de comprendre les relations de causalité, l'apprentissage automatique est-il utile pour atteindre cet objectif? En particulier, quels sont les avantages de LASSO pour l'analyse causale?

Y a-t-il des chercheurs (et des articles) traitant de ces questions?

machine-learning lasso causality Guilherme Duarte
la source

Eh bien, l'OLS ne produira pas très souvent des estimations des effets causaux, donc si LASSO doit remplacer l'OLS, il n'a pas le «fardeau» de découvrir des relations causales. Cela dit, jetez un œil à cette page pour quelques recherches récentes en économétrie sur les effets causals et les méthodes clairsemées: mit.edu/~vchern

Christoph Hanck

Pour moi, la distinction la plus naturelle ici serait celle de Shmueli ( "Pour expliquer ou prédire" , 2010) plutôt que celle de Breiman, mais peut-être que la distinction de Breiman est également très bien.

Richard Hardy

@ChristophHanck. Tu as raison. Mais le fait est que l'OLS a été beaucoup utilisé pour estimer les effets causaux. Par exemple, la «plupart des économétries inoffensives» abordent plusieurs sujets liés à cela. Donc, si c'est possible avec OLS, pourquoi pas avec LASSO? Quoi qu'il en soit, merci pour la référence.

Guilherme Duarte

@RichardHardy Vous avez tout à fait raison. Je connais ce papier. Je viens de mentionner Breiman, car je pensais que ce serait plus facile à expliquer.

Guilherme Duarte

Je ne suis pas en désaccord là-dessus: dans les cas où l'OLS peut être utilisé pour estimer des effets occasionnels, je ne vois pas pourquoi le lasso ne devrait pas être également applicable

Christoph Hanck

Réponses:

Je ne les connais pas tous, j'en suis sûr, alors j'espère que cela ne dérangera personne si nous faisons ce style wiki.

Un élément important est cependant que le LASSO est biaisé (source, Wasserman en cours, désolé), ce qui, bien qu'acceptable dans la prédiction, est un problème d'inférence causale. Si vous voulez la causalité, vous la voulez probablement pour la science, donc vous n'essayez pas seulement d'estimer les paramètres les plus utiles (qui se produisent étrangement pour bien prédire), vous essayez d'estimer les paramètres VRAI (!).

one_observation
la source

Bonne réponse! En fait, si vous avez un biais, c'est un gros problème pour les estimations causales. Mais peut-être que LASSO pourrait être utilisé à titre préliminaire dans une procédure plus complète pour évaluer la causalité.

Guilherme Duarte

Peut-être! C'est pourquoi j'ai hâte de faire sonner d'autres personnes.

one_observation

@GuilhermeDuarte, c'est l'erreur globale qui compte, pas le parti pris. En cas de perte carrée, nous nous soucions de MSE, et cela équivaut à un biais

^{2}

$^2$ + Variance. Le lasso peut fournir un bon compromis avec une MSE relativement petite malgré un certain biais et en tant que tel, il devrait être plus utile pour l'analyse causale qu'une estimation non biaisée avec une MSE élevée. Le vrai problème avec le lasso est qu'il est difficile d'obtenir des intervalles de confiance pour lui; c'est actuellement un domaine de recherche actif.

Richard Hardy

@ RichardHardy désolé, tu veux dire que lorsque nous nous soucions de la causalité, nous ne devrions pas nous inquiéter des biais, mais avec le MSE? Ce n'est pas tout à fait clair pour moi

Guilherme Duarte

@GuilhermeDuarte, tout comme dans la prédiction, dans la causalité, nous avons besoin d'estimations précises des coefficients du modèle. La précision peut être mesurée en termes d'erreur absolue, d'erreur quadratique, etc., mais pas de biais. Par exemple, vous pouvez avoir en même temps un biais faible et une erreur d'estimation élevée. Donc, en regardant le biais, vous penseriez que vous vous débrouillez bien, mais ce serait trompeur car l'erreur d'estimation (absolue, au carré ou selon le cas) est élevée. C'est l'erreur d'estimation, et non le biais, qui importe lorsque l'on considère la taille des effets, la signification statistique, etc. dans l'inférence causale.

Richard Hardy