On m'a donc posé une question sur laquelle les mesures centrales L1 (c.-à-d. Le lasso) et L2 (c.-à-d. La régression des crêtes) ont été estimées. La réponse est L1 = médiane et L2 = moyenne. Y a-t-il un type de raisonnement intuitif à cela? Ou faut-il le déterminer algébriquement? Si oui, comment...
Certaines fonctions de pénalité et approximations sont bien étudiées, comme le LASSO ( L1L1L_1 ) et le Ridge ( L2L2L_2 ) et comment elles se comparent en régression. ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma}γ=1γ=1\gamma = 1γ=2γ=2\gamma = 2 Wenjiang [ 1 ] a comparé la pénalité Bridge quand...
Considérons le modèle standard de régression multiple où , donc la normalité, l'homoscédasticité et la non corrélation des erreurs sont toutes valables.Y=Xβ+εY=Xβ+εY=X\beta+\varepsilonε∼N(0,σ2In)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Supposons que nous effectuons une régression de...
Pour un modèle linéaire , le terme de retrait est toujours .y=β0+xβ+εy=β0+Xβ+εy=\beta_0+x\beta+\varepsilonP(β)P(β)P(\beta) Quelle est la raison pour laquelle nous ne rétrécissons pas le terme de biais (interception) ? Faut-il réduire le terme de biais dans les modèles de réseaux de...
Considérons la régression de crête avec une contrainte supplémentaire exigeant que ait une somme unitaire de carrés (de manière équivalente, la variance unitaire); si nécessaire, on peut supposer que a également une somme unitaire de carrés: yy^y^\hat{\mathbf y}yy\mathbf y...
Supposons que j'essaie d'estimer un grand nombre de paramètres à partir de données de grande dimension, en utilisant une sorte d'estimations régularisées. Le régularisateur introduit un certain biais dans les estimations, mais il peut toujours être un bon compromis car la réduction de la variance...
J'utilise le package R pénalisé pour obtenir des estimations réduites des coefficients pour un ensemble de données où j'ai beaucoup de prédicteurs et peu de connaissances sur ceux qui sont importants. Après avoir choisi les paramètres de réglage L1 et L2 et que je suis satisfait de mes...
J'ai compris comment la régression de crête rétrécit géométriquement les coefficients vers zéro. De plus, je sais comment le prouver dans le cas spécial "Orthonormal Case", mais je ne sais pas comment cela fonctionne dans le cas général via la "décomposition
Je me souviens avoir lu quelque part sur le Web une connexion entre la régression de crête (avec la régularisation ) et la régression PCA: lors de l'utilisation de la régression régularisée avec un hyperparamètre , si , la régression équivaut à supprimer le Variable PC avec la plus petite valeur...
J'utilise la régression de crête sur des données hautement multicollinéaires. En utilisant OLS, j'obtiens de grandes erreurs standard sur les coefficients en raison de la multicolinéarité. Je sais que la régression de crête est un moyen de résoudre ce problème, mais dans toutes les implémentations...
Je connais les avantages de la régularisation lors de la construction de modèles prédictifs (biais vs variance, prévention du sur-ajustement). Mais, je me demande si c'est une bonne idée de faire aussi de la régularisation (lasso, crête, filet élastique) lorsque le but principal du modèle de...
Quelle est la différence entre la régression primitive , double et Kernel Ridge? Les gens utilisent les trois, et à cause de la notation différente que tout le monde utilise à différentes sources, il m'est difficile de suivre. Alors, quelqu'un peut-il me dire en termes simples quelle est la...
Au cours d'une expérience de classification de texte, j'ai trouvé un classificateur de crête générant des résultats qui dépassent constamment les tests parmi les classificateurs qui sont le plus souvent mentionnés et appliqués pour les tâches d'exploration de texte, tels que SVM, NB, kNN, etc....
La question Que conclure de ce graphique du lasso (glmnet) montre des chemins de solution pour l'estimateur du lasso qui ne sont pas monotones. C'est-à-dire que certains des coefficients augmentent en valeur absolue avant de rétrécir. J'ai appliqué ces modèles à plusieurs types d'ensembles de...
J'ai un ensemble de 150 fonctionnalités, et beaucoup d'entre elles sont fortement corrélées les unes aux autres. Mon objectif est de prédire la valeur d'une variable discrète, dont la plage est 1-8 . La taille de mon échantillon est de 550 et j'utilise une validation croisée 10 fois . AFAIK, parmi...
Les estimateurs de régression pénalisés tels que LASSO et ridge correspondraient aux estimateurs bayésiens avec certains a priori. Je suppose (comme je ne connais pas assez les statistiques bayésiennes) que pour un paramètre de réglage fixe, il existe un a priori concret correspondant. Maintenant,...
J'implémente Ridge Regression dans un module Python / C, et je suis tombé sur ce "petit" problème. L'idée est que je souhaite échantillonner les degrés de liberté effectifs plus ou moins également espacés (comme le graphique de la page 65 sur les "Éléments de l'apprentissage statistique" ),...
Considérons un problème de régression OLS standard : J'ai des matrices \ Y et \ X et je veux trouver \ B pour minimiser L = \ | \ Y- \ X \ B \ | ^ 2. La solution est donnée par \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf
En régression lasso ou crête, il faut spécifier un paramètre de rétrécissement, souvent appelé par ou α . Cette valeur est souvent choisie par validation croisée en vérifiant un tas de valeurs différentes sur les données d'entraînement et en voyant celle qui donne le meilleur, par exemple R 2 sur...
La régression de crête estime les paramètres ββ\boldsymbol \beta dans un modèle linéaire y=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \beta by β^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y, où...