Comment sélectionner rapidement des variables importantes dans un très grand ensemble de données?

J'ai un ensemble de données avec environ 2 000 variables binaires / 200 000 lignes et j'essaie de prédire une seule variable dépendante binaire. Mon objectif principal à ce stade n'est pas d'obtenir l'exactitude des prévisions, mais plutôt d'identifier lesquelles de ces variables sont des prédicteurs importants. J'aimerais ramener le nombre de variables dans mon modèle final à environ 100.

Existe-t-il un moyen relativement rapide d'obtenir les variables les plus importantes? randomForest semble prendre beaucoup de temps.

Je n'ai pas à utiliser les 200 000 observations, donc l'échantillonnage est une option sur la table.

Vous pouvez commencer avec un simple filtre univarié et utiliser la validation croisée pour décider des variables à conserver. La sbffonction dans le caretpackage pour R est vraiment utile. Vous pouvez en savoir plus ici , à partir de la page 19.

Cela ressemble à un problème approprié pour le lasso et les amis qui effectuent un rétrécissement et une sélection variable. Les éléments de l'apprentissage statistique décrivent le lasso et le filet élastique pour la régression et, ce qui est plus pertinent pour ce problème, la régression logistique.

Les auteurs du livre ont mis à disposition une implémentation efficace du lasso et du filet élastique sous la forme d'un package R appelé glmnet . J'ai déjà utilisé ce package pour l'analyse de données binaires avec des matrices de données d'environ 250 000 lignes, bien qu'un peu moins de colonnes, mais exécutant en fait des régressions de toutes les colonnes par rapport à toutes les autres colonnes. Si la matrice de données est également clairsemée, la mise en œuvre peut également en profiter, et je pense que la méthode peut réellement fonctionner pour l'ensemble de données OPs. Voici quelques commentaires sur le lasso:

• $\ell_1$
• La sélection du paramètre de réglage se fait souvent par validation croisée, mais même sans l'étape de validation croisée, la méthode peut être en mesure de donner une bonne séquence de variables sélectionnées indexées par le paramètre de pénalité.
• En revanche, pour la sélection des variables, le lasso peut être instable dans la sélection des variables, en particulier si elles sont quelque peu corrélées. La pénalité nette élastique plus générale a été inventée pour améliorer cette instabilité, mais elle ne résout pas complètement le problème. Le lasso adaptatif est une autre idée pour améliorer la sélection des variables pour le lasso.
• La sélection de la stabilité est une méthode générale suggérée par Meinshausen et Bühlmann pour obtenir une plus grande stabilité des variables sélectionnées avec des méthodes comme le lasso. Il nécessite un certain nombre d'ajustements à des sous-échantillons de l'ensemble de données et, en tant que tel, est beaucoup plus exigeant en termes de calcul.
• Une façon raisonnable de penser le lasso est une méthode pour générer un ensemble unidimensionnel de «bons» modèles allant d'un modèle à variable unique à un modèle plus compliqué (n'incluant pas nécessairement toutes les variables) paramétré par le paramètre de pénalité. En revanche, les filtres univariés produisent uniquement une sélection ou un ordre des bons modèles à variable unique.

Pour Python, il existe une implémentation dans scikit-learn de méthodes telles que le lasso et le filet élastique.

Vous pouvez faire un test d'association de régression logistique / khi carré pour chaque variable et ne conserver que celles qui ont une valeur p inférieure à une certaine valeur, par exemple .2.