Je voudrais poser cette question en deux parties. Les deux traitent d'un modèle linéaire généralisé, mais le premier traite de la sélection du modèle et les autres de la régularisation. Contexte: J'utilise des modèles GLM (linéaire, logistique, régression gamma) à la fois pour la prédiction et pour...
J'ai vu beaucoup d'articles sur les représentations clairsemées récemment, et la plupart d'entre eux utilisent la norme et font une certaine minimisation. Ma question est, quelle est la norme et la norme mixte ? Et comment sont-ils pertinents pour la
Dans la détection compressée, il existe un théorème garantissant que a une solution clairsemée unique c (voir l'annexe pour plus de détails).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Existe-t-il un théorème similaire pour le...
Je recherche de la documentation sur la régression de crête négative . En bref, il est une généralisation de la régression linéaire de la crête négative en utilisant λλ\lambda dans la formule β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.Le cas positif a une...
Quelqu'un peut-il m'orienter vers un algorithme en ligne (récursif) pour la régularisation de Tikhonov (moindres carrés régularisés)? Dans un cadre hors ligne, je calculerais β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY utilisant mon ensemble de données d'origine où λλλ est trouvé...
Cet article suit celui-ci: pourquoi l'estimation des crêtes devient-elle meilleure que l'OLS en ajoutant une constante à la diagonale? Voici ma question: Pour autant que je sache, la régularisation des crêtes utilise une norme ℓ2ℓ2\ell_2 (distance euclidienne). Mais pourquoi utilisons-nous le carré...
Pour éviter de sur-adapter les gens, les gens ajoutent un terme de régularisation (proportionnel à la somme au carré des paramètres du modèle) avec un paramètre de régularisation à la fonction de coût de la régression linéaire. Ce paramètre λ est-il le même qu'un multiplicateur de décalage? La...
Voici un exemple de code keras qui l'utilise: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))
J'entends ces mots de plus en plus alors que j'étudie l'apprentissage automatique. En fait, certaines personnes ont remporté la médaille Fields en travaillant sur les régularités des équations. Donc, je suppose que c'est un terme qui va de la physique statistique / mathématique à l'apprentissage...
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé l'année dernière . Quelles implémentations open source - dans n'importe quel langage -...
En choisissant le paramètre de régularisation lambda dans Ridge ou Lasso, la méthode recommandée consiste à essayer différentes valeurs de lambda, à mesurer l'erreur dans l'ensemble de validation et enfin à choisir la valeur de lambda qui renvoie l'erreur la plus faible. Ce n'est pas pour moi si la...
Par techniques de régularisation, je fais référence au lasso, à la régression des crêtes, au filet élastique et similaires. Envisager un modèle prédictif sur les données de soins de santé contenant des données démographiques et diagnostiques où la durée du séjour pour les séjours en milieu...
Je suis en train d' étudier LASSO (moins un retrait absolu et opérateur sélection) à l'intervalle. Je vois que la valeur optimale pour le paramètre de régularisation peut être choisie par validation croisée. Je vois aussi dans la régression de crête et de nombreuses méthodes qui appliquent la...
J'ai déjà une idée des avantages et des inconvénients de la régression des crêtes et du LASSO. Pour le LASSO, le terme de pénalité L1 donnera un vecteur de coefficient clairsemé, qui peut être considéré comme une méthode de sélection de caractéristiques. Cependant, il existe certaines limitations...
Voici quelque chose que j'ai lu dans le livre Deep Learning d' Ian Goodfellow . Dans le contexte des réseaux de neurones, "la pénalité de la norme du paramètre L2 est communément appelée décroissance du poids. Cette stratégie de régularisation rapproche les poids de l'origine [...]. Plus...
Il existe de nombreuses méthodes pour effectuer la régularisation - la régularisation basée sur la norme , et par exemple. Selon Friedman Hastie & Tibsharani , le meilleur régularisateur dépend du problème: à savoir la nature de la véritable fonction cible, la base particulière utilisée, le...
Dans plusieurs réponses, j'ai vu des utilisateurs de CrossValidated suggérer à OP de trouver les premiers articles sur Lasso, Ridge et Elastic Net. Pour la postérité, quelles sont les œuvres phares sur Lasso, Ridge et Elastic Net?
J'ai récemment assisté à quelques discussions sur les statistiques du Lasso (régularisation) et un point qui revient sans cesse est que nous ne comprenons pas vraiment pourquoi le Lasso fonctionne ou pourquoi il fonctionne si bien. Je me demande à quoi se réfère cette déclaration. Évidemment, je...
Ma compréhension de la régression LASSO est que les coefficients de régression sont sélectionnés pour résoudre le problème de minimisation: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t En pratique, cela se fait en utilisant un...
Comme l'indique le titre, j'essaie de reproduire les résultats de glmnet linear en utilisant l'optimiseur LBFGS de la bibliothèque lbfgs. Cet optimiseur nous permet d'ajouter un terme de régularisateur L1 sans avoir à se soucier de la différentiabilité, tant que notre fonction objectif (sans le...