J'ai programmé une régression logistique en utilisant l' algorithme IRLS . Je souhaite appliquer une pénalisation LASSO afin de sélectionner automatiquement les bonnes fonctionnalités. À chaque itération, le problème suivant est résolu: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right)...
J'ajuste une régression linéaire régularisée L1 à un très grand ensemble de données (avec n >> p.) Les variables sont connues à l'avance, mais les observations arrivent en petits morceaux. Je voudrais maintenir l'ajustement du lasso après chaque morceau. Je peux évidemment réajuster le modèle...
Existe-t-il de bons articles ou livres traitant de l'utilisation de la descente coordonnée pour L1 (lasso) et / ou de la régularisation nette élastique pour les problèmes de régression
J'essaie de comprendre comment l'algorithme Lars peut être modifié pour générer Lasso. Bien que je comprenne le LARS, je ne suis pas en mesure de voir la modification au Lasso de l'article de Tibshirani et al. En particulier, je ne vois pas pourquoi la condition de signe en ce que le signe de la...
LASSO et LASSO adaptatif sont deux choses différentes, non? (Pour moi, les pénalités sont différentes, mais je vérifie simplement si je manque quelque chose.) Quand on parle généralement de filet élastique, est-ce le cas particulier LASSO ou LASSO adaptatif? Lequel le paquet glmnet fait-il, à...
J'ai lu à plusieurs endroits que R Squared n'est pas une mesure idéale lorsqu'un modèle est adapté avec LASSO. Cependant, je ne sais pas exactement pourquoi . De plus, pourriez-vous recommander la meilleure
Dans la détection compressée, il existe un théorème garantissant que a une solution clairsemée unique c (voir l'annexe pour plus de détails).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Existe-t-il un théorème similaire pour le...
Je travaille actuellement sur la construction d'un modèle prédictif pour un résultat binaire sur un ensemble de données avec environ 300 variables et 800 observations. J'ai beaucoup lu sur ce site sur les problèmes liés à la régression pas à pas et pourquoi ne pas l'utiliser. J'ai lu la régression...
Pour ma recherche actuelle, j'utilise la méthode Lasso via le package glmnet dans R sur une variable dépendante binomiale. Dans glmnet, le lambda optimal est trouvé par validation croisée et les modèles résultants peuvent être comparés à diverses mesures, par exemple erreur de classification...
Cet article suit celui-ci: pourquoi l'estimation des crêtes devient-elle meilleure que l'OLS en ajoutant une constante à la diagonale? Voici ma question: Pour autant que je sache, la régularisation des crêtes utilise une norme ℓ2ℓ2\ell_2 (distance euclidienne). Mais pourquoi utilisons-nous le carré...
J'utilise "glmnet" pour la régression au lasso dans GWAS. Certaines variantes et certains individus ont des valeurs manquantes et il semble que glmnet ne puisse pas gérer les valeurs manquantes. Existe-t-il une solution à ça? ou existe-t-il un autre package qui peut gérer les valeurs manquantes...
Zou et al. "Sur les" degrés de liberté "du lasso" (2007) montrent que le nombre de coefficients non nuls est une estimation non biaisée et cohérente des degrés de liberté du lasso. Cela me semble un peu contre-intuitif. Supposons que nous ayons un modèle de régression (où les variables sont à...
J'essaie de résumer ce que j'ai compris jusqu'à présent dans l'analyse multivariée pénalisée avec des ensembles de données de grande dimension, et j'ai toujours du mal à obtenir une définition correcte du seuillage progressif par rapport à la pénalisation Lasso (ou ).L1L1L_1 Plus précisément, j'ai...
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé l'année dernière . Quelles implémentations open source - dans n'importe quel langage -...
Lorsque je détermine mon lambda par validation croisée, tous les coefficients deviennent nuls. Mais j'ai quelques indices dans la littérature que certains des prédicteurs devraient définitivement affecter le résultat. Est-ce une foutaise de choisir arbitrairement lambda pour qu'il y ait autant de...
Après avoir lu le chapitre 3 des Éléments de l'apprentissage statistique (Hastie, Tibshrani & Friedman), je me suis demandé s'il était possible de mettre en œuvre les fameuses méthodes de rétrécissement citées sur le titre de cette question étant donné une structure de covariance, c'est-à-dire...
J'utilise un modèle de régression avec Lasso et Ridge (pour prédire une variable de résultat discrète allant de 0 à 5). Avant d'exécuter le modèle, j'utilise la SelectKBestméthode de scikit-learnpour réduire l'ensemble de fonctionnalités de 250 à 25 . Sans sélection initiale des caractéristiques,...
Je voudrais fixer manuellement un certain coefficient, par exemple , puis ajuster les coefficients à tous les autres prédicteurs, tout en conservant dans le modèle.β 1 = 1,0β1= 1,0β1=1.0\beta_1=1.0β1= 1,0β1=1.0\beta_1=1.0 Comment puis-je y parvenir en utilisant R? J'aimerais particulièrement...
Si β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , ∥β∗∥2‖β∗‖2\|\beta^*\|_2 augmenter lorsque λλ\lambda augmente? Je pense que c'est possible. Bien que ∥β∗∥1‖β∗‖1\|\beta^*\|_1 n'augmente pas lorsque λλ\lambda augmente (ma preuve...
Je suis en train d' étudier LASSO (moins un retrait absolu et opérateur sélection) à l'intervalle. Je vois que la valeur optimale pour le paramètre de régularisation peut être choisie par validation croisée. Je vois aussi dans la régression de crête et de nombreuses méthodes qui appliquent la...