Une méthode de régularisation pour les modèles de régression qui combine les pénalités du lasso et de la régression des crêtes.
La régularisation par filet élastique est-elle toujours préférée à Lasso & Ridge, car elle semble résoudre les inconvénients de ces méthodes? Quelle est l'intuition et quel est le calcul derrière le filet
Comment les méthodes de régularisation des arêtes, LASSO et des filets élastiques se comparent-elles? Quels sont leurs avantages et inconvénients respectifs? Tout bon document technique ou note de cours serait également apprécié.
J'utilise la fonction auto.arima () dans le package de prévision pour adapter les modèles ARMAX avec une variété de covariables. Cependant, j'ai souvent un grand nombre de variables à sélectionner et je me retrouve généralement avec un modèle final qui fonctionne avec un sous-ensemble d'entre...
Je voudrais utiliser GLM et Elastic Net pour sélectionner ces fonctionnalités pertinentes + construire un modèle de régression linéaire (c'est-à-dire à la fois la prédiction et la compréhension, il serait donc préférable de se retrouver avec relativement peu de paramètres). La sortie est continue....
Le papier net élastique original Zou & Hastie (2005) Régularisation et sélection des variables via le filet élastique introduit la fonction de perte nette élastique pour la régression linéaire (ici, je suppose que toutes les variables sont centrées et mises à l'échelle de la variance unitaire):...
Je comprends le rôle que joue lambda dans une régression élastique-nette. Et je peux comprendre pourquoi on sélectionnerait lambda.min, la valeur de lambda qui minimise l'erreur de validation croisée. Ma question est: où dans la littérature statistique est-il recommandé d'utiliser lambda.1se,...
Certaines fonctions de pénalité et approximations sont bien étudiées, comme le LASSO ( L1L1L_1 ) et le Ridge ( L2L2L_2 ) et comment elles se comparent en régression. ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma}γ=1γ=1\gamma = 1γ=2γ=2\gamma = 2 Wenjiang [ 1 ] a comparé la pénalité Bridge quand...
Intro: J'ai un ensemble de données avec un problème classique "grand p, petit n". Le nombre d'échantillons disponibles n = 150 tandis que le nombre de prédicteurs possibles p = 400. Le résultat est une variable continue. Je veux trouver les descripteurs les plus "importants", c'est-à-dire ceux qui...
J'effectue une régression logistique net élastique sur un ensemble de données de soins de santé en utilisant le glmnetpackage dans R en sélectionnant les valeurs lambda sur une grille de de 0 à 1. Mon code abrégé est ci-dessous:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <-...
Je suis vraiment intéressé par la procédure du filet élastique pour la rétraction / sélection des prédicteurs. Cela semble très puissant. Mais du point de vue scientifique, je ne sais pas quoi faire une fois que j'ai obtenu les coefficients. À quelle question réponds-je? Ce sont les variables qui...
La question Que conclure de ce graphique du lasso (glmnet) montre des chemins de solution pour l'estimateur du lasso qui ne sont pas monotones. C'est-à-dire que certains des coefficients augmentent en valeur absolue avant de rétrécir. J'ai appliqué ces modèles à plusieurs types d'ensembles de...
Je connais les avantages de la régularisation lors de la construction de modèles prédictifs (biais vs variance, prévention du sur-ajustement). Mais, je me demande si c'est une bonne idée de faire aussi de la régularisation (lasso, crête, filet élastique) lorsque le but principal du modèle de...
J'ai un ensemble de 150 fonctionnalités, et beaucoup d'entre elles sont fortement corrélées les unes aux autres. Mon objectif est de prédire la valeur d'une variable discrète, dont la plage est 1-8 . La taille de mon échantillon est de 550 et j'utilise une validation croisée 10 fois . AFAIK, parmi...
J'essaie d'identifier le meilleur modèle pour prédire les prix des automobiles, en utilisant les prix et les fonctionnalités disponibles sur les sites de petites annonces automobiles. Pour cela, j'ai utilisé quelques modèles de la bibliothèque scikit-learn et des modèles de réseaux neuronaux de...
Il est bien connu que la régression linéaire avec une pénalité de équivaut à trouver l'estimation MAP donnée un a priori gaussien sur les coefficients. De même, l'utilisation d'une pénalité équivaut à l'utilisation d'une distribution de Laplace comme a priori.l2l2l^2l1l1l^1 Il n'est pas rare...
Quels sont les avantages et les inconvénients de l'utilisation de LARS [1] par rapport à l'utilisation de la descente de coordonnées pour ajuster la régression linéaire régularisée L1? Je m'intéresse principalement aux aspects de performance (mes problèmes ont tendance à avoir Ndes centaines de...
Remarque: cette question est une rediffusion, car ma question précédente a dû être supprimée pour des raisons juridiques. En comparant PROC MIXED de SAS avec la fonction lmedu nlmepackage dans R, je suis tombé sur des différences assez confuses. Plus précisément, les degrés de liberté dans les...
LASSO et LASSO adaptatif sont deux choses différentes, non? (Pour moi, les pénalités sont différentes, mais je vérifie simplement si je manque quelque chose.) Quand on parle généralement de filet élastique, est-ce le cas particulier LASSO ou LASSO adaptatif? Lequel le paquet glmnet fait-il, à...
Existe-t-il de bons articles ou livres traitant de l'utilisation de la descente coordonnée pour L1 (lasso) et / ou de la régularisation nette élastique pour les problèmes de régression
Quelqu'un a-t-il essayé de vérifier si l'ajustement d'un modèle Elastic Net avec ElasticNetin scikit-learn en Python et glmneten R sur le même ensemble de données produit des résultats arithmétiques identiques? J'ai expérimenté de nombreuses combinaisons de paramètres (car les deux fonctions...