Je suis en train d' étudier LASSO (moins un retrait absolu et opérateur sélection) à l'intervalle. Je vois que la valeur optimale pour le paramètre de régularisation peut être choisie par validation croisée. Je vois aussi dans la régression de crête et de nombreuses méthodes qui appliquent la...
J'ai déjà une idée des avantages et des inconvénients de la régression des crêtes et du LASSO. Pour le LASSO, le terme de pénalité L1 donnera un vecteur de coefficient clairsemé, qui peut être considéré comme une méthode de sélection de caractéristiques. Cependant, il existe certaines limitations...
J'essaie de faire une sélection de modèle sur certains prédicteurs candidats en utilisant LASSO avec un résultat continu. Le but est de sélectionner le modèle optimal avec les meilleures performances de prédiction, ce qui peut généralement être fait par validation croisée K-fold après avoir obtenu...
Selon les références Livre 1 , Livre 2 et papier . Il a été mentionné qu'il existe une équivalence entre la régression régularisée (Ridge, LASSO et Elastic Net) et leurs formules de contraintes. J'ai également examiné Cross Validated 1 et Cross Validated 2 , mais je ne vois pas de réponse claire...
J'ajuste un modèle linéaire dans R en utilisant glmnet. Le modèle original (non régularisé) a été ajusté en utilisant lmet n'avait pas de terme constant (c'est-à-dire qu'il était sous la forme lm(y~0+x1+x2,data)). glmnetprend une matrice de prédicteurs et un vecteur de réponses. J'ai lu la...
J'ai récemment assisté à quelques discussions sur les statistiques du Lasso (régularisation) et un point qui revient sans cesse est que nous ne comprenons pas vraiment pourquoi le Lasso fonctionne ou pourquoi il fonctionne si bien. Je me demande à quoi se réfère cette déclaration. Évidemment, je...
Ma compréhension de la régression LASSO est que les coefficients de régression sont sélectionnés pour résoudre le problème de minimisation: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t En pratique, cela se fait en utilisant un...
Je cherche une réponse intuitive pourquoi un modèle GLM LASSO sélectionne un prédicteur spécifique dans un groupe de facteurs hautement corrélés, et pourquoi il le fait différemment, puis la meilleure sélection de fonctionnalités de sous-ensemble. D'après la géométrie du LASSO montrée sur la figure...
Les modèles pénalisés peuvent être utilisés pour estimer les modèles où le nombre de paramètres est égal ou même supérieur à la taille de l'échantillon. Cette situation peut se produire dans les modèles log-linéaires de grandes tables clairsemées de données catégorielles ou de dénombrement. Dans...
Je lisais cet article sur le filet élastique. Ils disent qu'ils utilisent un filet élastique parce que si nous utilisons simplement le Lasso, il a tendance à sélectionner un seul prédicteur parmi les prédicteurs qui sont fortement corrélés. Mais n'est-ce pas ce que nous voulons. Je veux dire que...
J'ai obtenu trois modèles réduits à partir d'un modèle complet original en utilisant sélection avant élimination en arrière Technique de pénalisation L1 (LASSO) Pour les modèles obtenus en utilisant la sélection vers l'avant / l'élimination vers l'arrière, j'ai obtenu l'estimation de validation...
Ma situation: petit échantillon: 116 variable de résultat binaire longue liste de variables explicatives: 44 les variables explicatives ne venaient pas du haut de ma tête; leur choix était basé sur la littérature. la plupart des cas dans l'échantillon et la plupart des variables ont des valeurs...
Si j'ai une matrice de conception , où est le nombre d'observations de dimension , quelle est la complexité de la résolution de avec LASSO, wrt et ? Je pense que la réponse devrait se référer à la façon dont une itération LASSO évolue avec ces paramètres, plutôt qu'à la façon dont le nombre...
Je sais que cela brouillerait l'inférence statistique, mais je ne souhaite vraiment que me rapprocher le plus possible d'un modèle précis. J'ai une variable de résultat dichotomique, avec un large éventail de prédicteurs dichotomiques. Je pense que j'aimerais essayer d'utiliser LASSO pour...
La fonction R cv.glm (bibliothèque: boot) calcule l'erreur de prédiction de validation croisée K-fold estimée pour les modèles linéaires généralisés et renvoie delta. Est-il judicieux d'utiliser cette fonction pour une régression au lasso (bibliothèque: glmnet) et si oui, comment peut-elle être...
Dans plusieurs réponses, j'ai vu des utilisateurs de CrossValidated suggérer à OP de trouver les premiers articles sur Lasso, Ridge et Elastic Net. Pour la postérité, quelles sont les œuvres phares sur Lasso, Ridge et Elastic Net?
Comment effectuer une régression de crête non négative? Le lasso non négatif est disponible en scikit-learn, mais pour la crête, je ne peux pas imposer la non-négativité des bêtas, et en effet, j'obtiens des coefficients négatifs. Est-ce que quelqu'un sait pourquoi c'est comme ça? De plus, puis-je...
Dans ma classe d'apprentissage automatique, nous avons appris comment la régression LASSO est très efficace pour effectuer la sélection de fonctionnalités, car elle utilise la régularisation .l1l1l_1 Ma question: les gens utilisent-ils normalement le modèle LASSO uniquement pour faire la sélection...
Je me demande comment aborder correctement la formation et le test d'un modèle LASSO à l'aide de glmnet dans R? Plus précisément, je me demande comment procéder si l'absence d'un ensemble de données de test externe nécessite que j'utilise la validation croisée (ou une autre approche similaire) pour...
[Une question similaire a été posée ici sans réponse] J'ai ajusté un modèle de régression logistique avec régularisation L1 (régression logistique Lasso) et je voudrais tester la signification des coefficients ajustés et obtenir leurs valeurs de p. Je sais que les tests de Wald (par exemple) sont...