J'ai déjà une idée des avantages et des inconvénients de la régression des crêtes et du LASSO. Pour le LASSO, le terme de pénalité L1 donnera un vecteur de coefficient clairsemé, qui peut être considéré comme une méthode de sélection de caractéristiques. Cependant, il existe certaines limitations...
Après avoir lu le chapitre 3 des Éléments de l'apprentissage statistique (Hastie, Tibshrani & Friedman), je me suis demandé s'il était possible de mettre en œuvre les fameuses méthodes de rétrécissement citées sur le titre de cette question étant donné une structure de covariance, c'est-à-dire...
La régression de crête peut être exprimée par où est l'étiquette prédite , la matrice d'identification , l'objet pour lequel nous essayons de trouver une étiquette, et la matrice de objets tel que: Y IddxdxXnxdnxi=(xi,1,...,Xi,j)∈Rdy^= ( X′X +a Iré)- 1X xy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} +...
Selon les références Livre 1 , Livre 2 et papier . Il a été mentionné qu'il existe une équivalence entre la régression régularisée (Ridge, LASSO et Elastic Net) et leurs formules de contraintes. J'ai également examiné Cross Validated 1 et Cross Validated 2 , mais je ne vois pas de réponse claire...
J'ai appliqué quelques données pour trouver la meilleure solution de variables du modèle de régression en utilisant la régression de crête dans R. J'ai utilisé lm.ridgeet glmnet(quand alpha=0), mais les résultats sont très différents, surtout quand lambda=0. Il suppose que les deux estimateurs de...
Je semble mal comprendre une affirmation sur les méthodes de régression linéaire que j'ai vu à divers endroits. Les paramètres du problème sont: Contribution: NNN échantillons de données de quantités constituées chacune d'une quantité de "réponse" et de quantités de
Je comprends que nous pouvons utiliser la régularisation dans un problème de régression des moindres carrés comme w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) +...
Dans plusieurs réponses, j'ai vu des utilisateurs de CrossValidated suggérer à OP de trouver les premiers articles sur Lasso, Ridge et Elastic Net. Pour la postérité, quelles sont les œuvres phares sur Lasso, Ridge et Elastic Net?
Comment effectuer une régression de crête non négative? Le lasso non négatif est disponible en scikit-learn, mais pour la crête, je ne peux pas imposer la non-négativité des bêtas, et en effet, j'obtiens des coefficients négatifs. Est-ce que quelqu'un sait pourquoi c'est comme ça? De plus, puis-je...
J'ai lu la description de la régression des crêtes dans Applied Linear Statistical Models , 5e Ed chapitre 11. La régression des crêtes est effectuée sur les données de graisse corporelle disponibles ici . Le manuel correspond à la sortie dans SAS, où les coefficients transformés en arrière sont...
Dans le prolongement de ma question précédente , la solution aux équations normales pour la régression des crêtes est donnée par: β^λ=(XTX+λI)−1XTyβ^λ=(XTX+λI)−1XTy\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty Pourriez-vous offrir des conseils pour choisir le paramètre de régularisation...
Je sais qu'il est courant de normaliser les caractéristiques de régression de crête et de lasso, mais serait-il plus pratique de normaliser les caractéristiques sur une échelle (0,1) comme alternative à la standardisation du score z pour ces méthodes de régression?
Dans les moindres carrés ordinaires, en régressant un vecteur cible contre un ensemble de prédicteurs , la matrice de chapeau est calculée commeyyyXXX H= X(XtX)- 1XtH=X(XtX)-1XtH = X (X^tX)^{-1} X^t et la PRESSE (somme résiduelle prédite des carrés) est calculée par SSP=∑je(eje1 -hje...
Je suis nouveau dans la régression des crêtes. Lorsque j'ai appliqué une régression de crête linéaire, j'ai obtenu les résultats suivants: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W...
Lorsque , le problème des moindres carrés qui impose une restriction sphérique à la valeur de peut être écrit comme pour un système surdéterminé. \ | \ cdot \ | _2 est la norme euclidienne d'un vecteur.y=Xβ+ey=Xβ+ey = X\beta +
\def\l{|\!|} Étant donné la régression nette élastique minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 comment choisir une plage appropriée de λλ\lambda pour la validation...
Je travaille sur un modèle de coût prédictif où l'âge du patient (une quantité entière mesurée en années) est l'une des variables prédictives. Une forte relation non linéaire entre l'âge et le risque d'hospitalisation est évidente: J'envisage une spline de lissage de régression pénalisée pour l'âge...
Je travaille sur la validation croisée de la prédiction de mes données avec 200 sujets et 1000 variables. Je suis intéressé par la régression des crêtes car le nombre de variables (que je veux utiliser) est supérieur au nombre d'échantillons. Je veux donc utiliser des estimateurs de retrait. Voici...
Quelqu'un sait-il comment calculer l'intervalle de prédiction pour la régression des crêtes? et quelle est sa relation avec l'intervalle de prédiction de la régression
J'ai deux implémentations différentes de ridgeMATLAB. L'un est tout simplement x=(A′A+Iλ)−1A′bx=(A′A+Iλ)−1A′b\mathbf x = (\mathbf{A}'\mathbf{A}+\mathbf{I}\lambda)^{-1}\mathbf{A}'\mathbf b (comme on le voit sur la page de régression de crête de Wikipedia ), avecII\mathbf{I} étant la matrice...