Je connais LASSO, la régularisation de type crête et filet élastique dans les modèles de régression linéaire. Question: Ce type d'estimation pénalisée (ou similaire) peut-il être appliqué à la modélisation ARIMA (avec une partie MA non vide)? Dans la construction de modèles ARIMA, il semble...
J'essaie de voir s'il faut opter pour la régression de crête , LASSO , la régression en composantes principales (PCR) ou les moindres carrés partiels (PLS) dans une situation où il y a un grand nombre de variables / caractéristiques ( ) et un plus petit nombre d'échantillons ( n < p ), et mon...
Je suis nouveau dans le glmnetpackage et je ne sais toujours pas comment interpréter les résultats. Quelqu'un pourrait-il m'aider à lire le tracé de trace suivant? Le graphique était obtenu en exécutant ce qui suit: library(glmnet) return <-
Existe-t-il des résultats analytiques ou des articles expérimentaux concernant le choix optimal du coefficient du terme de pénalité ℓ1ℓ1\ell_1 ? Par optimal , je veux dire un paramètre qui maximise la probabilité de sélectionner le meilleur modèle, ou qui minimise la perte attendue. Je pose la...
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 3 ans . Je construis une régression logistique en R en utilisant la méthode...
Je me demandais pourquoi les méthodes de sélection des modèles LASSO et LARS sont si populaires même si elles ne sont fondamentalement que des variations de la sélection pas à pas (et souffrent donc de la dépendance du chemin)? De même, pourquoi les méthodes GETS (General to Specific) pour la...
β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=argminβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,ithithi^{th}xi∈Rpxi∈Rpx_i \in \mathbb{R}^pX∈Rn×pX∈Rn×pX \in \mathbb{R}^{n \times p}yiyiy_ii=1,…ni=1,…ni=1, \dots n Nous...
Je voudrais créer une forêt aléatoire en utilisant le processus suivant: Construisez un arbre sur un échantillon aléatoire des données et des fonctionnalités en utilisant le gain d'informations pour déterminer les divisions Terminer un nœud feuille s'il dépasse une profondeur prédéfinie OU toute...
Ma compréhension générale est que l' AIC traite de l'arbitrage entre la qualité de l'ajustement du modèle et la complexité du modèle. A jeC= 2 k - 2 l n ( L )UNEjeC=2k-2ln(L)AIC =2k -2ln(L) = nombre de paramètres dans le modèlekkk = vraisemblanceLLL Le critère d'information bayésien BIC est...
Quelle est la complexité temporelle asymptotique de la régression Lasso à mesure que le nombre de lignes ou de colonnes
Quels sont les avantages et les inconvénients de l'utilisation de LARS [1] par rapport à l'utilisation de la descente de coordonnées pour ajuster la régression linéaire régularisée L1? Je m'intéresse principalement aux aspects de performance (mes problèmes ont tendance à avoir Ndes centaines de...
Je voudrais obtenir les coefficients du problème LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Le problème est que les fonctions glmnet et lars donnent des réponses différentes. Pour la fonction glmnet, je demande les coefficients de λ/||Y||λ/||Y||\lambda/||Y||au lieu de...
Le tableau 18.1 des éléments de l'apprentissage statistique résume les performances de plusieurs classificateurs sur un ensemble de données de 14 classes. Je compare un nouvel algorithme avec le lasso et le filet élastique pour de tels problèmes de classification multiclasse. En utilisant la...
Il y a plusieurs articles mathématiques qui décrivent le lasso bayésien, mais je veux un code JAGS correct et testé que je peux utiliser. Quelqu'un pourrait-il publier un exemple de code BUGS / JAGS qui implémente une régression logistique régularisée? Tout schéma (L1, L2, Elasticnet) serait...
J'utilise le paquet 'lars' dans R avec le code suivant: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <-...
L'une des motivations du filet élastique était la limitation suivante de LASSO: Dans le cas p>np>np > n , le lasso sélectionne au plus n variables avant de saturer, en raison de la nature du problème d'optimisation convexe. Cela semble être une caractéristique limitante pour une méthode de...
J'ai lu que le lasso de groupe est utilisé pour la sélection des variables et la rareté dans un groupe de variables. Je veux connaître l'intuition derrière cette affirmation. Pourquoi le lasso de groupe est-il préféré au lasso? Pourquoi le chemin de la solution de lasso de groupe n'est-il pas...
\newcommand{\diag}{\operatorname{diag}} Nous avons le problème: en supposant que: \ sum_ {i = 1} ^ nx_ix_i ^ T = \ diag (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2).n Σ i=1xix T i =diag(σ 2 1 ,...,Σ 2 d
Je recherche une source ouverte ou une bibliothèque existante que je peux utiliser. Autant que je sache, le paquet glmnet n'est pas très facilement extensible pour couvrir le cas non négatif. Je peux me tromper, toute personne ayant des idées très appréciées. Par non négatif, je veux dire que tous...
Je lis sur la meilleure sélection de sous-ensembles dans le livre Elements of statistics learning. Si j'ai 3 prédicteurs , je crée sous-ensembles:x1,x2,x3x1,x2,x3x_1,x_2,x_323=823=82^3=8 Sous-ensemble sans prédicteurs sous-ensemble avec prédicteurx1x1x_1 sous-ensemble avec prédicteurx2x2x_2...