Questions marquées «lasso»

Donc, j'ai 16 essais dans lesquels j'essaie d'authentifier une personne à partir d'un trait biométrique en utilisant Hamming Distance. Mon seuil est fixé à 3,5. Mes données sont ci-dessous et seul l'essai 1 est un vrai positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47...

J'ai un grand ensemble de prédicteurs (plus de 43 000) pour prédire une variable dépendante qui peut prendre 2 valeurs (0 ou 1). Le nombre d'observations est supérieur à 45 000. La plupart des prédicteurs sont des unigrammes, des bigrammes et des trigrammes de mots, il y a donc un haut degré de...

Supposons que j'ai des données longitudinales de la forme (j'ai plusieurs observations, ce n'est que la forme d'une seule). Je suis intéressé par les restrictions sur . Un sans restriction équivaut à prendre avec .Y =( Y1, … , YJ) ∼ N( μ , Σ )Y=(Y1,…,YJ)∼N(μ,Σ)\mathbf Y = (Y_1, \ldots, Y_J) \sim...

Je travaille sur un modèle de coût prédictif où l'âge du patient (une quantité entière mesurée en années) est l'une des variables prédictives. Une forte relation non linéaire entre l'âge et le risque d'hospitalisation est évidente: J'envisage une spline de lissage de régression pénalisée pour l'âge...

J'ai une question sur la façon de modéliser le texte sur les données de comptage, en particulier comment pourrais-je utiliser la lassotechnique pour réduire les fonctionnalités. Supposons que j'ai N articles en ligne et le nombre de pages vues pour chaque article. J'ai extrait 1 gramme et 2 grammes...

LLLminβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1 \min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \; Mais souvent, j'ai vu que l'estimateur Lasso peut s'écrire β^n(λ)=argminβ{12n∥y−Xβ∥22+λ∥β∥1}β^n(λ)=arg⁡minβ{12n‖y−Xβ‖22+λ‖β‖1} \hat{\beta}_n(\lambda) = \displaystyle\arg \min_{\beta} \{\frac {1}{2n} \|y...

J'ai obtenu d'autres publications que l'on ne peut pas attribuer `` importance '' ou `` signification '' aux variables prédictives qui entrent dans un modèle de lasso parce que le calcul des valeurs p ou des écarts-types de ces variables est toujours un travail en cours. Sous ce raisonnement,...

J'effectue une analyse dont l'objectif principal est de comprendre les données. L'ensemble de données est suffisamment grand pour la validation croisée (10k), et les prédicteurs incluent des variables continues et factices, et le résultat est continu. L'objectif principal était de voir s'il était...

\def\l{|\!|} Étant donné la régression nette élastique minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 comment choisir une plage appropriée de λλ\lambda pour la validation...

Je pensais résoudre le Lasso via des méthodes de premier cycle à la vanille. Mais j'ai lu des gens suggérant d'utiliser la descente du gradient proximal. Quelqu'un peut-il souligner pourquoi la méthode proximale GD au lieu de la vanille est utilisée pour le

Dans leur article fondateur «Least Angle Regression» , Efron et al décrivent une modification simple de l'algorithme LARS qui permet de calculer des chemins de régularisation LASSO complets. J'ai implémenté cette variante avec succès et trace généralement le chemin de sortie en fonction du nombre...

Étant donné , quel est le comportement théorique des coefficients LASSO et pourquoi?x2=2x1x2=2x1x_2 = 2 x_1 Est-ce que l'un des ou se à ou les deux?x1x1x_1x2x2x_2000 require(glmnet) x1 = runif(100, 1, 2) x2 = 2*x1 x_train = cbind(x1, x2) y = 100*x1 + 100 + runif(1) ridge.mod = cv.glmnet(x_train, y,...

J'essaie de créer un modèle réduit pour prédire de nombreuses variables dépendantes (DV) (~ 450) qui sont hautement corrélées. Mes variables indépendantes (IV) sont également nombreuses (~ 2000) et fortement corrélées. Si j'utilise le lasso pour sélectionner un modèle réduit pour chaque sortie...

Je sais qu'il est courant de normaliser les caractéristiques de régression de crête et de lasso, mais serait-il plus pratique de normaliser les caractéristiques sur une échelle (0,1) comme alternative à la standardisation du score z pour ces méthodes de régression?

J'ai un ensemble de données avec environ 5 000 caractéristiques / covariables souvent corrélées et une réponse binaire. Les données m'ont été données, je ne les ai pas collectées. J'utilise Lasso et boosting de gradient pour construire des modèles. J'utilise la validation croisée imbriquée itérée....

Si nous sélectionnons différentes valeurs du paramètre , nous pourrions obtenir des solutions avec différents niveaux de rareté. Cela signifie-t-il que le chemin de régularisation est de savoir comment sélectionner la coordonnée qui pourrait obtenir une convergence plus rapide? Je suis un peu...

Je me demande la finesse optimale de la grille et quelle est la relation entre la finesse de la grille et le sur-ajustement dans les méthodes de régularisation telles que LASSO, régression de crête ou filet élastique. Supposons que je veuille adapter un modèle de régression utilisant LASSO à un...

L'apprentissage statistique et ses résultats sont actuellement omniprésents en sciences sociales. Il y a quelques mois, Guido Imbens a déclaré: "LASSO est le nouvel OLS". J'ai un peu étudié le Machine Learning et je sais que son objectif principal est la prédiction. Je suis également d'accord avec...

Je régresse un prédicteur continu sur plus de 60 variables (à la fois continues et catégorielles) en utilisant LASSO (glmnet). En examinant le tracé de trace variable, je remarque que lorsque le log lambda augmente, l'une des variables clés a un coefficient qui augmente réellement. Puis, après un...

Je comprends que la détection compressée trouve la solution la plus simple à y=Axy=Axy = Ax où x∈RDx∈RDx \in \mathbb{R}^D, A∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}, et y∈Rky∈Rky \in \mathbb{R}^{k}, k<<Dk<<Dk