Quelle est la sélection de variable / caractéristique que vous préférez pour la classification binaire quand il y a beaucoup plus de variables / caractéristique que d'observations dans l'ensemble d'apprentissage? Le but ici est de discuter de la procédure de sélection des caractéristiques qui...
J'ai un ensemble de données avec 9 variables indépendantes continues. Je suis en train de choisir parmi ces variables pour ajuster un modèle à un pourcentage unique variable ( en fonction), Score. Malheureusement, je sais qu'il y aura une colinéarité sérieuse entre plusieurs des variables. J'ai...
Lorsque j'utilise GAM, cela me donne un DF résiduel de (dernière ligne du code). Qu'est-ce que ça veut dire? Au-delà de l'exemple GAM, en général, le nombre de degrés de liberté peut-il être un nombre non entier?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call:...
J'ai un classificateur sur lequel je fais une validation croisée, ainsi qu'une centaine de fonctionnalités sur lesquelles je fais une sélection avant pour trouver des combinaisons optimales de fonctionnalités. Je compare également cela à l'exécution des mêmes expériences avec PCA, où je prends les...
Pour la régression Lasso supposons que la meilleure solution (erreur de test minimale par exemple) sélectionne k fonctionnalités, de sorte que \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {lasso}, 0, ... 0 \ droite) .L ( β) =...
J'ai un ensemble de données contenant au plus 150 exemples (divisé en formation et test), avec de nombreuses fonctionnalités (supérieures à 1000). J'ai besoin de comparer les classificateurs et les méthodes de sélection des fonctionnalités qui fonctionnent bien sur les données. J'utilise donc trois...
Lorsque vous essayez de sélectionner parmi différents modèles ou le nombre de fonctionnalités à inclure, disons la prédiction, je peux penser à deux approches. Divisez les données en ensembles de formation et de test. Mieux encore, utilisez le bootstrapping ou la validation croisée k-fold....
Intro: J'ai un ensemble de données avec un problème classique "grand p, petit n". Le nombre d'échantillons disponibles n = 150 tandis que le nombre de prédicteurs possibles p = 400. Le résultat est une variable continue. Je veux trouver les descripteurs les plus "importants", c'est-à-dire ceux qui...
Quelle est la propriété oracle d'un estimateur? Pour quels objectifs de modélisation la propriété oracle est-elle pertinente (prédictive, explicative, ...)? Des explications théoriquement rigoureuses et (surtout) intuitives sont les
J'exécute une petite expérience avec la régression LASSO dans R pour tester s'il est capable de trouver une paire de prédicteurs parfaite. La paire est définie comme ceci: f1 + f2 = résultat Le résultat ici est un vecteur prédéterminé appelé «âge». F1 et f2 sont créés en prenant la moitié du...
J'ai une question concernant la nécessité d'utiliser des méthodes de sélection d'entités (forêts aléatoires, valeur d'importance des caractéristiques ou méthodes de sélection d'entités univariées, etc.) avant d'exécuter un algorithme d'apprentissage statistique. Nous savons que pour éviter le...
Récemment, j'ai découvert que dans la littérature d'économétrie appliquée, lorsqu'il s'agit de problèmes de sélection de caractéristiques, il n'est pas rare d'effectuer LASSO suivi d'une régression OLS en utilisant les variables sélectionnées. Je me demandais comment qualifier la validité d'une...
Les tests de signification et la validation croisée sont deux approches courantes pour sélectionner des variables corrélées. Quel problème chacun essaie-t-il de résoudre et quand est-ce que je préférerais l'un plutôt que
Quelle est la définition de "l'espace d'entité"? Par exemple, lors de la lecture sur les SVM, j'ai lu sur le "mappage vers l'espace des fonctionnalités". En lisant à propos de CART, j'ai lu sur "le partitionnement pour l'espace de fonctionnalité". Je comprends ce qui se passe, en particulier pour...
J'ai du mal à interpréter les valeurs z pour les variables catégorielles dans la régression logistique. Dans l'exemple ci-dessous, j'ai une variable catégorielle avec 3 classes et selon la valeur z, CLASS2 peut être pertinent tandis que les autres ne le sont pas. Mais qu'est-ce que cela signifie...
Voici le tracé de glmnet avec alpha par défaut (1, donc lasso) en utilisant mtcarsl'ensemble de données dans R avec mpgcomme DV et d'autres comme variables prédictives. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Que pouvons-nous conclure de ce graphique concernant différentes variables, en...
Je viens de couvrir l'hypothèse non linéaire d'Andrew Ng sur les réseaux neuronaux, et nous avons eu une question à choix multiples pour déterminer le nombre de caractéristiques pour une image de résolution 100x100 d' intensités en échelle de gris . Et la réponse était 50 millions, x10...
Les méthodes algorithmiques de sélection des variables par étapes tendent à sélectionner des modèles qui biaisent plus ou moins toutes les estimations dans les modèles de régression ( ββ\beta s et leurs SE, valeurs p , statistiques F , etc.), et sont à peu près aussi susceptibles d'exclure les...
J'utilise cv.glmnetpour trouver des prédicteurs. La configuration que j'utilise est la suivante: lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold) bestlambda<-lassoResults$lambda.min results<-predict(lassoResults,s=bestlambda,type="coefficients")...
J'ai besoin de classer les URL en catégories. Disons que j'ai 15 catégories que je prévois de mettre à zéro chaque URL. Un classificateur à 15 voies est-il meilleur? Où j'ai 15 étiquettes et génère des fonctionnalités pour chaque point de données. Ou construire 15 classificateurs binaires, par...