L'AIC est fréquemment recommandé comme critère pour comparer les modèles de prévision de séries chronologiques. Voir par exemple ceci dans le contexte des modèles de régression dynamique : L'AIC peut être calculé pour le modèle final et cette valeur peut être utilisée pour déterminer les meilleurs...
Ma question: dois-je faire du CV même pour un ensemble de données relativement volumineux? J'ai un ensemble de données relativement volumineux et j'appliquerai un algorithme d'apprentissage automatique à l'ensemble de données. Comme mon PC n'est pas rapide, le CV (et la recherche dans la grille)...
Dans The Elements of Statistical Learning , j'ai trouvé l'énoncé suivant: Il y a une qualification: les étapes initiales de dépistage non supervisé peuvent être effectuées avant de laisser des échantillons. Par exemple, nous pourrions sélectionner les 1000 prédicteurs présentant la variance la plus...
Dans les études de psychologie, j'ai appris que nous devrions utiliser la méthode de Bonferroni pour ajuster le niveau de signification lors du test de plusieurs hypothèses sur un seul ensemble de données. Actuellement, je travaille avec des méthodes d'apprentissage automatique telles que les...
J'ai étiqueté des données composées de 10000 exemples positifs et 50000 exemples négatifs, ce qui donne un total de 60000 exemples. Évidemment, ces données sont déséquilibrées. Disons maintenant que je veux créer mon ensemble de validation et que je souhaite utiliser 10% de mes données pour le...
J'ai eu un entretien d'embauche pour un poste en science des données. Au cours de l'entretien, on m'a demandé ce que je dois faire pour m'assurer que le modèle n'est pas trop adapté. Ma première réponse a été d'utiliser la validation croisée pour évaluer les performances du modèle. Cependant,...
Exemples: J'ai une phrase dans la description de poste: "Java senior engineer in UK". Je veux utiliser un modèle d'apprentissage profond pour le prédire en 2 catégories: English et IT jobs. Si j'utilise un modèle de classification traditionnel, il ne peut prédire qu'une seule étiquette avec...
Je forme un classificateur binaire SVM à l'aide de Scikit learn. En raison de la nature de mon problème, je dois éviter les faux négatifs. Comme rien n'est gratuit, je suis d'accord pour obtenir un taux plus élevé de faux positifs afin de réduire le nombre de faux négatifs. Comment pouvons-nous...
J'ai un modèle de régression simple ( y = param1 * x1 + param2 * x2 ). Lorsque j'adapte le modèle à mes données, je trouve deux bonnes solutions: La solution A, params = (2,7), est la meilleure sur l' ensemble d'entraînement avec RMSE = 2,5 MAIS! Solution B params = (24,20) gagne gros sur l'...
J'ai récemment regardé cette conférence d'Eric J. Ma et vérifié son entrée sur le blog , où il cite Radford Neal, que les modèles bayésiens ne surajustent pas (mais ils peuvent suréquiper ) et lorsque vous les utilisez, nous n'avons pas besoin de jeux de test pour les valider (pour moi les...
Ma question porte sur la validation croisée lorsqu'il y a beaucoup plus de variables que d'observations. Pour fixer les idées, je propose de me limiter au cadre de classification en très haute dimension (plus de fonctionnalités que d'observation). Problème: Supposons que pour chaque variable vous...
J'ai cherché cela en ligne pendant des heures, mais aucun des messages en ligne n'est ce que je recherche. Ma question est très facile à implémenter dans la procédure mixte SAS Proc mais je ne sais pas comment le faire dans les packages lme et / ou lmer. Supposons que j'ai un modèle, , où est fixe...
Je travaille sur un modèle de prévision basé sur ANN pour une série temporelle financière. J'utilise la validation croisée 5 fois et les performances moyennes sont ainsi. Les performances sur le dernier pli (l'itération où le dernier segment est omis de la formation et utilisé pour la validation)...
J'ai lu sur cet échange une méthode heuristique d'estimation du gamma pour le noyau rbf dans les SVM. Je me demandais si quelqu'un pourrait me l'expliquer plus en détail? Je crois que vous sélectionnez 1000 (ou un grand nombre) de paires de points de données dans l'ensemble de données, puis...
J'utilise la régression vectorielle de support pour modéliser certaines données assez asymétriques (avec un kurtosis élevé). J'ai essayé de modéliser les données directement, mais je reçois des prédictions erronées, je pense principalement en raison de la distribution des données, qui est faussée à...
J'ai lu certains articles sur la sélection des fonctionnalités et la validation croisée, mais j'ai encore des questions sur la bonne procédure. Supposons que j'ai un ensemble de données avec 10 fonctionnalités et que je souhaite sélectionner les meilleures fonctionnalités. Supposons également que...
J'ai lu que la validation croisée avec abandon fournit une «estimation sans biais de la véritable performance de généralisation» (par exemple ici ) et que c'est une propriété avantageuse du CV avec abandon. Cependant, je ne vois pas comment cela découle des propriétés du CV à laisser-un. Pourquoi...
J'ai un problème de régression avec 5-6k variables. Je divise mes données en 3 ensembles qui ne se chevauchent pas: formation, validation et tests. Je m'entraîne en utilisant uniquement l'ensemble d'entraînement et je génère de nombreux modèles de régression linéaire différents en choisissant un...
J'utilise actuellement l'arrêt précoce de mon travail pour éviter un ajustement excessif. Plus précisément, ceux pris sous forme d' arrêt anticipé, mais quand? . Je veux maintenant comparer avec d'autres algorithmes de classification où il semble que la validation croisée 10 fois soit largement...
J'ai effectué un lasso, puis laissé une validation croisée cv<-cv.glmnet(df, df$Price, nfolds = 1500) Lorsque je trace un cv, j'obtiens ce qui suit: J'ai aussi remarqué que j'obtenais 2 lambdas différents: lambda.minetlambda.1se Quelle est la différence entre ces lambdas? Que puis-je comprendre...