Questions marquées «ridge-regression»

Une méthode de régularisation pour les modèles de régression qui réduit les coefficients vers zéro.

167
Quand devrais-je utiliser le lasso vs la crête?

Supposons que je veuille estimer un grand nombre de paramètres et que je veuille pénaliser certains d'entre eux car je pense qu'ils devraient avoir peu d'effet par rapport aux autres. Comment décider quel schéma de pénalisation utiliser? Quand la régression de crête est-elle plus appropriée? Quand...

65
Vue unifiée sur le retrait: quelle est la relation (le cas échéant) entre le paradoxe de Stein, la régression de la crête et les effets aléatoires dans des modèles mixtes?

Considérons les trois phénomènes suivants. Le paradoxe de Stein: étant donné certaines données de la distribution normale multivariée dans , la moyenne de l'échantillon n'est pas un très bon estimateur de la moyenne vraie. On peut obtenir une estimation avec une erreur quadratique moyenne plus...

59
Pourquoi l’estimation de la crête devient-elle meilleure que celle des MCO en ajoutant une constante à la diagonale?

Je comprends que l’estimation de la régression de crête est la qui minimise la somme résiduelle du carré et une pénalité sur la taille deβββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y =...

33
La régression avec la régularisation L1 est-elle identique à celle de Lasso, et avec la régularisation L2 est-elle identique à la régression de crête? Et comment écrire «Lasso»?

Je suis un ingénieur en logiciel apprenant à apprendre les machines, en particulier grâce aux cours d'apprentissage automatique d' Andrew Ng . En étudiant la régression linéaire avec la régularisation , j'ai trouvé des termes déroutants: Régression avec régularisation L1 ou régularisation L2 LASSO...