Questions marquées «validation»

La sélection des fonctionnalités doit-elle être effectuée uniquement sur les données d'entraînement (ou toutes les données)? J'ai parcouru des discussions et des articles tels que Guyon (2003) et Singhi et Liu (2006) , mais je ne suis toujours pas sûr de la bonne réponse. La configuration de mon...

Je me demande comment aborder correctement la formation et le test d'un modèle LASSO à l'aide de glmnet dans R? Plus précisément, je me demande comment procéder si l'absence d'un ensemble de données de test externe nécessite que j'utilise la validation croisée (ou une autre approche similaire) pour...

J'ai obtenu trois modèles réduits à partir d'un modèle complet original en utilisant sélection avant élimination en arrière Technique de pénalisation L1 (LASSO) Pour les modèles obtenus en utilisant la sélection vers l'avant / l'élimination vers l'arrière, j'ai obtenu l'estimation de validation...

Je crois comprendre que l'estimation de validation croisée multipliée par k de l'erreur de test sous-estime généralement l'erreur de test réelle. Je ne comprends pas pourquoi c'est le cas. Je vois pourquoi l'erreur de formation est généralement inférieure à l'erreur de test - parce que vous...

J'ai repensé une réponse que j'ai donnée à une question il y a quelques semaines La validation croisée hold-out produit un ensemble de tests unique qui peut être utilisé à plusieurs reprises pour la démonstration. Nous semblons tous convenir qu'il s'agit à bien des égards d'une caractéristique...

Supposons que j'ai un petit échantillon, par exemple N = 100 et deux classes. Comment dois-je choisir la formation, la validation croisée et la taille des ensembles de tests pour l'apprentissage automatique? Je choisirais intuitivement Taille de l'ensemble d'entraînement: 50 Ensemble de validation...

J'essaie de comprendre si ma compréhension de la validation croisée imbriquée est correcte, j'ai donc écrit cet exemple de jouet pour voir si j'ai raison: import operator import numpy as np from sklearn import cross_validation from sklearn import ensemble from sklearn.datasets import load_boston #...

En lisant le site, la plupart des réponses suggèrent que la validation croisée devrait être effectuée dans les algorithmes d'apprentissage automatique. Cependant, alors que je lisais le livre "Understanding Machine Learning", j'ai vu qu'il y avait un exercice selon lequel il vaut parfois mieux ne...

Je vois souvent des gens parler de la validation croisée 5x2 comme un cas spécial de validation croisée imbriquée . Je suppose que le premier nombre (ici: 5) fait référence au nombre de plis dans la boucle intérieure et le deuxième nombre (ici: 2) fait référence au nombre de plis dans la boucle...

La fonction R cv.glm (bibliothèque: boot) calcule l'erreur de prédiction de validation croisée K-fold estimée pour les modèles linéaires généralisés et renvoie delta. Est-il judicieux d'utiliser cette fonction pour une régression au lasso (bibliothèque: glmnet) et si oui, comment peut-elle être...

Pour autant que je l'ai vu, les opinions ont tendance à différer à ce sujet. Les meilleures pratiques dicteraient certainement l'utilisation de la validation croisée (surtout si l'on compare les RF avec d'autres algorithmes sur le même ensemble de données). D'un autre côté, la source d'origine...

J'ai quelques données qui existent sur un graphique . Les sommets appartiennent à l'une des deux classes , et je suis intéressé à former un SVM pour distinguer les deux classes. Un noyau approprié pour cela est le noyau de diffusion , où est le laplacien de et est un paramètre de réglage.G = ( V,...

J'ai une régression aléatoire de la forêt construite en utilisant skl et je note que je donne des résultats différents basés sur la définition de la valeur aléatoire de la graine aléatoire. Si j'utilise LOOCV pour déterminer quelle graine fonctionne le mieux, est-ce une méthode valide?...

J'ai récemment commencé à utiliser la validation croisée par échantillonnage d'importance non lissée de Pareto (PSIS-LOO), décrite dans ces articles: Vehtari, A. et Gelman, A. (2015). Pareto a lissé l'échantillonnage d'importance. préimpression arXiv ( lien ). Vehtari, A., Gelman, A., et Gabry, J....

Donc, j'ai 16 essais dans lesquels j'essaie d'authentifier une personne à partir d'un trait biométrique en utilisant Hamming Distance. Mon seuil est fixé à 3,5. Mes données sont ci-dessous et seul l'essai 1 est un vrai positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47...

Ma question: dois-je faire du CV même pour un ensemble de données relativement volumineux? J'ai un ensemble de données relativement volumineux et j'appliquerai un algorithme d'apprentissage automatique à l'ensemble de données. Comme mon PC n'est pas rapide, le CV (et la recherche dans la grille)...

Je développe des systèmes de trading automatisés pour le marché boursier. Le grand défi a été le sur-ajustement. Pouvez-vous recommander des ressources décrivant des méthodes pour mesurer et éviter le sur-ajustement? J'ai commencé avec des ensembles de formation / validation, mais l'ensemble de...

J'utilise 2 types de régression logistique - l'un est le type simple, pour la classification binaire, et l'autre est la régression logistique ordinale. Pour calculer la précision de la première, j'ai utilisé la validation croisée, où j'ai calculé l'AUC pour chaque pli et ensuite calculé l'ASC...

Cela peut être peut-être une question stupide, mais lors de la génération d'un modèle avec caret et en utilisant quelque chose comme LOOCVou (plus précisément) LGOCV, quel est l'avantage de diviser les données en trains et ensembles de test si c'est essentiellement ce que l'étape de validation...

Mon manuel sur la validation croisée est Les éléments de l'apprentissage statistique par Hastie et al. (2e éd.). Dans les sections 7.10.1 et 7.12, ils parlent de la différence entre l'erreur de test conditionnelleE(X∗,Y∗)[L(Y,f^(X))|τ]E(X∗,Y∗)[L(Y,f^(X))|τ]E_{(X^*,Y^*)}[L(Y, \hat{f}(X))|\tau] et...