Pour expliquer la régression LASSO, le diagramme d'un diamant et d'un cercle est souvent utilisé. On dit que parce que la forme de la contrainte dans LASSO est un diamant, la solution des moindres carrés obtenue pourrait toucher le coin du diamant de telle sorte qu'elle entraîne un rétrécissement...
J'essaie de voir s'il faut opter pour la régression de crête , LASSO , la régression en composantes principales (PCR) ou les moindres carrés partiels (PLS) dans une situation où il y a un grand nombre de variables / caractéristiques ( ) et un plus petit nombre d'échantillons ( n < p ), et mon...
Il y a déjà un article sur ce site qui parle du même problème: pourquoi le retrait fonctionne-t-il? Mais, même si les réponses sont populaires, je ne crois pas que l'essentiel de la question soit vraiment abordé. Il est assez clair que l'introduction d'un biais dans l'estimation entraîne une...
J'ai lu les livres les plus populaires en apprentissage statistique 1- Les éléments de l'apprentissage statistique. 2- Une introduction à l'apprentissage statistique . Les deux mentionnent que la régression de crête a deux formules qui sont équivalentes. Existe-t-il une preuve mathématique...
Dans "The Elements of Statistical Learning" (2nd ed), p63, les auteurs donnent les deux formulations suivantes du problème de régression des crêtes: β^r i dge= argminβ{ ∑i = 1N( yje- β0- ∑j = 1pXje jβj)2+ λ ∑j = 1pβ2j}β^rjerége=argminβ{∑je=1N(yje-β0-∑j=1pXjejβj)2+λ∑j=1pβj2} \hat{\beta}^{ridge} =...
Je connais LASSO, la régularisation de type crête et filet élastique dans les modèles de régression linéaire. Question: Ce type d'estimation pénalisée (ou similaire) peut-il être appliqué à la modélisation ARIMA (avec une partie MA non vide)? Dans la construction de modèles ARIMA, il semble...
J'ai entendu dire que la régression des crêtes peut être dérivée comme la moyenne d'une distribution postérieure, si l'a priori est adéquatement choisi. L'intuition est-elle que les contraintes définies sur les coefficients de régression par les a priori (par exemple, les distributions normales...
Ma compréhension générale est que l' AIC traite de l'arbitrage entre la qualité de l'ajustement du modèle et la complexité du modèle. A jeC= 2 k - 2 l n ( L )UNEjeC=2k-2ln(L)AIC =2k -2ln(L) = nombre de paramètres dans le modèlekkk = vraisemblanceLLL Le critère d'information bayésien BIC est...
En régression de crête, la fonction objectif à minimiser est: RSS + λ ∑ β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Peut-on l'optimiser en utilisant la méthode du multiplicateur de Lagrange? Ou est-ce une différenciation
Lorsque vous exécutez une régression de crête, comment interprétez-vous les coefficients qui se retrouvent plus grands que leurs coefficients correspondants sous les moindres carrés (pour certaines valeurs de )? La régression des crêtes n'est-elle pas censée réduire les coefficients de façon...
J'apprends la régression des crêtes et je sais que la régression des crêtes a tendance à mieux fonctionner en présence de multicolinéarité. Je me demande pourquoi c'est vrai? Une réponse intuitive ou mathématique serait satisfaisante (les deux types de réponses seraient encore plus satisfaisants)....
Je veux calculer l'AICc d'un modèle de régression de crête. Le problème est le nombre de paramètres. Pour la régression linéaire, la plupart des gens suggèrent que le nombre de paramètres est égal au nombre de coefficients estimés plus sigma (la variance de l'erreur). En ce qui concerne la...
J'utilise le paquet 'lars' dans R avec le code suivant: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <-...
Je recherche de la documentation sur la régression de crête négative . En bref, il est une généralisation de la régression linéaire de la crête négative en utilisant λλ\lambda dans la formule β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.Le cas positif a une...
J'ai lu que la régression de crête pourrait être obtenue en ajoutant simplement des lignes de données à la matrice de données d'origine, où chaque ligne est construite en utilisant 0 pour les variables dépendantes et la racine carrée de kkk ou zéro pour les variables indépendantes. Une ligne...
Cet article suit celui-ci: pourquoi l'estimation des crêtes devient-elle meilleure que l'OLS en ajoutant une constante à la diagonale? Voici ma question: Pour autant que je sache, la régularisation des crêtes utilise une norme ℓ2ℓ2\ell_2 (distance euclidienne). Mais pourquoi utilisons-nous le carré...
J'utilise un modèle de régression avec Lasso et Ridge (pour prédire une variable de résultat discrète allant de 0 à 5). Avant d'exécuter le modèle, j'utilise la SelectKBestméthode de scikit-learnpour réduire l'ensemble de fonctionnalités de 250 à 25 . Sans sélection initiale des caractéristiques,...
J'ai appliqué quelques données pour trouver la meilleure solution de variables du modèle de régression en utilisant la régression de crête dans R. J'ai utilisé lm.ridgeet glmnet(quand alpha=0), mais les résultats sont très différents, surtout quand lambda=0. Il suppose que les deux estimateurs de...
Soit A la matrice des variables indépendantes et B la matrice n × 1 correspondante des valeurs dépendantes. Dans la régression d'arête, on définit un paramètre λ de sorte que: β = ( A T A + X I ) - 1 A T B . Soit maintenant [usv] = svd (A) et d i = i t h l' entrée diagonale de 's'. on définit les...
J'ai déjà une idée des avantages et des inconvénients de la régression des crêtes et du LASSO. Pour le LASSO, le terme de pénalité L1 donnera un vecteur de coefficient clairsemé, qui peut être considéré comme une méthode de sélection de caractéristiques. Cependant, il existe certaines limitations...