Retenue répétée de sous-ensembles de données pendant l'ajustement de modèle afin de quantifier les performances du modèle sur les sous-ensembles de données retenus.
L'AIC et le BIC sont deux méthodes d'évaluation de l'adéquation du modèle pénalisées pour le nombre de paramètres estimés. Si je comprends bien, BIC pénalise davantage les modèles pour les paramètres libres que l’AIC. Au-delà d'une préférence basée sur la rigueur des critères, existe-t-il d'autres...
Je me demande comment choisir un modèle prédictif après la validation croisée des plis en K. Cela peut être mal formulé, alors laissez-moi vous expliquer plus en détail: chaque fois que je lance la validation croisée des plis en K, j'utilise K sous-ensembles des données d'apprentissage et finis...
Est-ce toujours une bonne idée de s'entraîner avec l'ensemble de données complet après validation croisée ? En d'autres termes, est-il possible de s'entraîner avec tous les échantillons de mon jeu de données sans pouvoir vérifier si cet ajustement est trop important ? Quelques informations sur le...
Je me sers de la quelques fois la validation croisée de d'évaluer la performance de certains algorithmes d'apprentissage, mais je l' ai toujours été perplexe quant à la façon dont je choisir la valeur de .KKKKKK J'ai souvent vu et utilisé une valeur de , mais cela me semble totalement arbitraire et...
J'aimerais connaître votre avis sur les différences entre la validation croisée et l’amorçage pour estimer l’erreur de prédiction. Est-ce qu'on travaille mieux pour de petites tailles de données ou de grands ensembles de
Comment utiliser la validation croisée imbriquée pour la sélection du modèle ? D'après ce que j'ai lu en ligne, les CV imbriqués fonctionnent comme suit: Il y a la boucle CV interne, où nous pouvons effectuer une recherche sur la grille (par exemple, exécuter un pli en K pour chaque modèle...
Comment différentes méthodes de validation croisée se comparent-elles en termes de variance et de biais du modèle? Ma question est en partie motivée par ce fil: nombre optimal de plis en validation croisée de: est leave-one-out CV toujours le meilleur choix? KKKK. La réponse suggérée ici suggère...
Comment décririez-vous la validation croisée à une personne sans formation en analyse de
Je suis un peu confus au sujet de la sélection des fonctionnalités et de l'apprentissage automatique, et je me demandais si vous pouviez m'aider. J'ai un jeu de données de micropuces qui est classé en deux groupes et qui comporte des milliers de fonctionnalités. Mon objectif est d'obtenir un petit...
Récemment, j'ai beaucoup lu sur ce site (@Aniko, @Dikran Marsupial, @Erik) et ailleurs sur le problème du surajustement avec une validation croisée - (Smialowski et al 2010, Bioinformatics, Hastie, Éléments d'apprentissage statistique). Il est suggéré que toute sélection de caractéristique...
Question: Je veux être sûr de quelque chose, l’utilisation de la validation croisée à plis multiples avec des séries chronologiques est-elle simple, ou faut-il être particulièrement attentif avant de l’utiliser? Contexte: Je modélise une série chronologique sur 6 ans (avec une chaîne...
Quelle est la stratégie appropriée pour diviser l’ensemble de données? Je demande des commentaires sur l'approche suivante (pas sur les paramètres individuels comme test_sizeou n_iter, mais si je X, y, X_train, y_train, X_testet de façon y_testappropriée et si la séquence est logique): (étendant...
J'ai une classe de données déséquilibrées et je veux régler les hyperparamètres du tress renforcé à l'aide de xgboost. Des questions Existe-t-il un équivalent de gridsearchcv ou randomsearchcv pour xgboost? Si non, quelle est l'approche recommandée pour ajuster les paramètres de xgboost?...
Supposons que quelqu'un construise un modèle prédictif, mais que quelqu'un ne connaisse pas nécessairement les principes appropriés des statistiques ou de l'apprentissage automatique. Peut-être aidons-nous cette personne dans son apprentissage, ou peut-être utilise-t-elle une sorte de progiciel...
J'ai trouvé deux questions ici et ici à propos de ce problème, mais il n'y a pas encore de réponse ou d'explication évidente. J'applique le même problème lorsque l'erreur de validation est inférieure à l'erreur d'apprentissage dans mon réseau de neurones à convolution. Qu'est-ce que ça veut...
Quelle est la différence entre la validation croisée stratifiée et la validation croisée ? Wikipedia dit: Dans la validation croisée des plis en k , les plis sont sélectionnés de sorte que la valeur de réponse moyenne soit approximativement égale dans tous les plis. Dans le cas d'une classification...
Dans l’apprentissage statistique, implicitement ou explicitement, on suppose toujours que l’apprentissage D={X,y}ré={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \} est composé de NNN tuples d’entrée / réponse qui sont indépendamment tirés du même joint distribution avec(Xi,yi)(Xje,yje)({\bf{X}}_i,y_i)...
À mes yeux, il semble que la validation en attente est inutile. En d’autres termes, scinder le jeu de données original en deux parties (formation et test) et utiliser le score de test comme mesure de généralisation est quelque peu inutile. La validation croisée des plis en K semble donner de...
Est-ce que je transforme toutes mes données ou mes plis (si CV est appliqué) en même temps? par exemple (allData - mean(allData)) / sd(allData) Est-ce que je transforme les trains et les tests séparément? par exemple (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) /...
Mis à part les considérations relatives à la puissance de calcul, y a-t-il des raisons de penser que l' augmentation du nombre de plis lors de la validation croisée conduit à une meilleure sélection / validation du modèle (en d'autres termes, plus le nombre de plis est élevé, mieux c'est). En...