La page de Scikit Learn sur la sélection de modèles mentionne l'utilisation de la validation croisée imbriquée: >>> clf = GridSearchCV(estimator=svc, param_grid=dict(gamma=gammas), ... n_jobs=-1) >>> cross_validation.cross_val_score(clf, X_digits, y_digits) Deux boucles de...
Scikit a CalibratedClassifierCV , qui nous permet d'étalonner nos modèles sur une paire X, y particulière. Il indique également clairement quedata for fitting the classifier and for calibrating it must be disjoint. S'ils doivent être disjoints, est-il légitime de former le classificateur avec les...
Ma compréhension générale est que l' AIC traite de l'arbitrage entre la qualité de l'ajustement du modèle et la complexité du modèle. A jeC= 2 k - 2 l n ( L )UNEjeC=2k-2ln(L)AIC =2k -2ln(L) = nombre de paramètres dans le modèlekkk = vraisemblanceLLL Le critère d'information bayésien BIC est...
Je pense que je comprends comment fonctionnent les principes fondamentaux du bootstrap , mais je ne suis pas sûr de comprendre comment je peux utiliser le bootstrap pour la sélection de modèle ou pour éviter le sur-ajustement. Pour la sélection du modèle, par exemple, choisiriez-vous simplement le...
Quelqu'un peut-il m'expliquer mon modèle Cox en anglais simple? J'ai ajusté le modèle de régression de Cox suivant à toutes mes données en utilisant la cphfonction. Mes données sont enregistrées dans un objet appelé Data. Les variables w, xet ysont continues; zest un facteur de deux niveaux. Le...
Habituellement, dans la régression logistique, nous ajustons un modèle et obtenons des prédictions sur l'ensemble d'entraînement. Nous validons ensuite ces prévisions d'entraînement (quelque chose comme ici ) et décidons de la valeur seuil optimale en fonction de quelque chose comme la courbe ROC....
J'utilise scikit-learn pour effectuer une régression logistique avec validation croisée sur un ensemble de données (environ 14 paramètres avec> 7000 observations normalisées). J'ai également un classificateur cible qui a une valeur de 1 ou 0. Le problème que j'ai, c'est que quel que soit le...
Lorsque nous évaluons la qualité d'une forêt aléatoire, par exemple en utilisant l'AUC, est-il plus approprié de calculer ces quantités sur les échantillons hors sac ou sur l'ensemble de validation croisée? J'entends que le calculer sur les échantillons OOB donne une évaluation plus pessimiste,...
Lors de la validation croisée de k-fold, je comprends que vous obtenez les mesures de précision en pointant tous les plis sauf un sur ce pli et faites des prédictions, puis répétez ce processus fois. Vous pouvez ensuite exécuter des métriques d'exactitude sur toutes vos instances (précision,...
J'essaie d'écrire ma propre fonction pour l'analyse des composants principaux, PCA (bien sûr, il y a déjà beaucoup écrit mais je suis juste intéressé à implémenter des choses par moi-même). Le principal problème que j'ai rencontré est l'étape de validation croisée et le calcul de la somme prédite...
Je viens de terminer "Une introduction à l'apprentissage statistique" . Je me demandais si l'utilisation de la validation croisée pour trouver les meilleurs paramètres de réglage pour diverses techniques d'apprentissage automatique était différente de l'espionnage des données? Nous vérifions à...
J'essaie de comprendre la validation croisée pour la régression logistique ordinale. Le but du jeu est de valider le modèle utilisé dans une analyse ... Je construis d'abord un ensemble de données sur les jouets: set.seed(1) N <- 10000 # predictors x1 <- runif(N) x2 <- runif(N) x3 <-...
Remarque: cette question est une rediffusion, car ma question précédente a dû être supprimée pour des raisons juridiques. En comparant PROC MIXED de SAS avec la fonction lmedu nlmepackage dans R, je suis tombé sur des différences assez confuses. Plus précisément, les degrés de liberté dans les...
La question: Bootstrapping est supérieur au jackknifing; cependant, je me demande s'il existe des cas où le jackknifing est la seule ou au moins une option viable pour caractériser l'incertitude à partir des estimations des paramètres. De plus, dans des situations pratiques, dans quelle mesure le...
J'ai configuré une recherche de grille pour un tas de paramètres. J'essaie de trouver les meilleurs paramètres pour un réseau neuronal Keras qui effectue une classification binaire. La sortie est soit un 1 soit un 0. Il y a environ 200 fonctionnalités. Quand j'ai fait une recherche dans la grille,...
Actuellement, j'essaie d'analyser un ensemble de données de document texte qui n'a aucune vérité fondamentale. On m'a dit que vous pouvez utiliser la validation croisée k-fold pour comparer différentes méthodes de clustering. Cependant, les exemples que j'ai vus dans le passé utilisent une vérité...
Quelles sont les façons de choisir quel noyau entraînerait une bonne séparation des données dans la sortie finale des données par le noyau PCA (analyse des composants principaux), et quelles sont les façons d'optimiser les paramètres du noyau? Les termes de Layman, si possible, seraient grandement...
Pour ma recherche actuelle, j'utilise la méthode Lasso via le package glmnet dans R sur une variable dépendante binomiale. Dans glmnet, le lambda optimal est trouvé par validation croisée et les modèles résultants peuvent être comparés à diverses mesures, par exemple erreur de classification...
Existe-t-il une interprétation bayésienne, ML ou MDL connue de la validation croisée? Puis-je interpréter la validation croisée comme effectuant la bonne mise à jour sur une version antérieure spécialement
En jouant avec le Boston Housing Dataset et RandomForestRegressor(avec les paramètres par défaut) dans scikit-learn, j'ai remarqué quelque chose d'étrange: le score moyen de validation croisée a diminué lorsque j'ai augmenté le nombre de plis au-delà de 10. Ma stratégie de validation croisée était...