Inclusion de contraintes supplémentaires (généralement une pénalité pour la complexité) dans le processus d'ajustement du modèle. Utilisé pour éviter le sur-ajustement / améliorer la précision prédictive.
Je lis les livres sur la régression linéaire. Il y a quelques phrases sur les normes L1 et L2. Je les connais, mais je ne comprends pas pourquoi la norme L1 pour les modèles clairsemés. Quelqu'un peut utiliser donner une explication
Je cherche une définition non technique du lasso et de son
Je lisais Éléments d'apprentissage statistique et j'aimerais savoir pourquoi le lasso fournit une sélection de variables et non la régression de crête. Les deux méthodes minimisent la somme des carrés résiduels et ont une contrainte sur les valeurs possibles des paramètres . Pour le lasso, la...
Contrairement à d'autres articles, j'ai trouvé l' entrée de Wikipédia sur ce sujet illisible pour une personne non mathématique (comme moi). J'ai compris l'idée de base, à savoir que vous favorisiez les modèles avec moins de règles. Ce que je ne comprends pas, c'est comment passer d'un ensemble de...
Je continue à lire ceci et intuitivement je peux le voir, mais comment passer de la régularisation L2 à dire qu’il s’agit d’un Prior gaussien analytiquement? Il en va de même pour dire que L1 est équivalent à un précédent laplacien. Toute autre référence serait géniale....
Afin de résoudre les problèmes de sélection de modèle, un certain nombre de méthodes (LASSO, régression de crête, etc.) réduiront les coefficients des variables prédictives vers zéro. Je cherche une explication intuitive de la raison pour laquelle cela améliore la capacité de prédiction. Si le...
Chaque fois que la régularisation est utilisée, elle est souvent ajoutée à la fonction de coût, comme dans la fonction de coût suivante. J(θ)=12(y−θXT)(y−θXT)T+α∥θ∥22J(θ)=12(y−θXT)(y−θXT)T+α‖θ‖22 J(\theta)=\frac 1 2(y-\theta X^T)(y-\theta X^T)^T+\alpha\|\theta\|_2^2 Cela me semble intuitif puisque...
Dans les statistiques traditionnelles, lors de la construction d'un modèle, nous vérifions la multicolinéarité à l'aide de méthodes telles que les estimations du facteur d'inflation de la variance (VIF), mais en apprentissage automatique, nous utilisons plutôt la régularisation pour la sélection...
La régularisation à l'aide de méthodes telles que Ridge, Lasso, ElasticNet est assez courante pour la régression linéaire. Je voulais savoir ce qui suit: Ces méthodes sont-elles applicables à la régression logistique? Si tel est le cas, existe-t-il des différences dans la manière dont ils doivent...
Momentum est utilisé pour diminuer les fluctuations de poids lors d’itérations successives:αα\alpha Δ ωje( t + 1 ) = - η∂E∂wje+ α Δ ωje( t ) ,Δωje(t+1)=-η∂E∂wje+αΔωje(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t), où E( w )E(w)E({\bf w}) est la fonction...
J'ai des problèmes avec la dérivation de la solution pour la régression de crête. Je connais la solution de régression sans le terme de régularisation: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Mais après avoir ajouté le terme L2 à la fonction de coût, comment se fait-il que la solution...
Existe-t-il des études empiriques justifiant l’utilisation de la règle de l’erreur standard unique en faveur de la parcimonie? Cela dépend évidemment du processus de génération des données, mais tout ce qui analyse un grand corpus de jeux de données serait une lecture très intéressante. La "règle...
À la page 223 de l' Introduction à l'apprentissage statistique , les auteurs résument les différences entre la régression de la crête et le lasso. Ils fournissent un exemple (Figure 6.9) du cas où "le lasso tend à surpasser la régression de la crête en termes de biais, de variance et de MSE". Je...
Un problème que j'ai souvent vu dans le contexte des réseaux de neurones en général, et des réseaux de neurones profonds en particulier, est qu'ils sont "gourmands en données". avec lequel former le réseau. D'après ce que je comprends, cela est dû au fait que les NNets, notamment les Deep NNets,...
Je suis juste curieux de savoir pourquoi il n’ya habituellement que des régularisations des normes L1L1L_1 et L2L2L_2 . Y a-t-il des preuves de la raison pour laquelle elles sont
J'essaie d'adapter un modèle de régression linéaire multivarié avec environ 60 variables de prédicteur et 30 observations. J'utilise donc le package glmnet pour la régression régularisée, car p> n. J'ai parcouru la documentation et d'autres questions, mais je ne peux toujours pas interpréter les...
La régularisation par filet élastique est-elle toujours préférée à Lasso & Ridge, car elle semble résoudre les inconvénients de ces méthodes? Quelle est l'intuition et quel est le calcul derrière le filet
Comment les méthodes de régularisation des arêtes, LASSO et des filets élastiques se comparent-elles? Quels sont leurs avantages et inconvénients respectifs? Tout bon document technique ou note de cours serait également apprécié.
Quelqu'un peut-il recommander une bonne exposition de la théorie de la régression des moindres carrés partiels (disponible en ligne) pour quelqu'un qui comprend la SVD et la PCA? J'ai regardé de nombreuses sources en ligne et je n'ai rien trouvé qui avait la bonne combinaison de rigueur et...
La régularisation de Tikhonov et la régression de crête sont des termes souvent utilisés comme s'ils étaient identiques. Est-il possible de spécifier exactement quelle est la