Je fais la classification d'images en utilisant l'apprentissage automatique. Supposons que j'ai des données d'entraînement (images) et que je vais diviser les données en ensembles d'apprentissage et de validation. Et je veux aussi augmenter les données (produire de nouvelles images à partir des...
J'ai une question sur l'optimisation des paramètres lorsque j'utilise la validation croisée 10 fois. Je veux demander si les paramètres doivent être fixés ou non lors de la formation du modèle de chaque pli, c'est-à-dire (1) sélectionner un ensemble de paramètres optimisés pour la précision moyenne...
Je fais une validation croisée en utilisant la méthode du congé-un. J'ai une réponse binaire et j'utilise le package de démarrage pour R et la fonction cv.glm . Mon problème est que je ne comprends pas bien la partie "coût" de cette fonction. D'après ce que je peux comprendre, c'est la fonction qui...
Ma principale question est de savoir comment comprendre la validation croisée k-fold dans le contexte des ensembles de formation / validation / test (si cela correspond à un tel contexte). Habituellement, les gens parlent de diviser les données en un ensemble de formation, de validation et de test...
Verrouillé . Cette question et ses réponses sont verrouillées car la question est hors sujet mais a une signification historique. Il n'accepte pas actuellement de nouvelles réponses ou interactions. Maintenant que j'ai une Rtrame de données (formation), quelqu'un peut-il me dire comment diviser au...
J'ai déjà entendu l'expression suivante: "L'optimisation est la racine de tout mal dans les statistiques". Par exemple, la première réponse dans ce fil fait cette déclaration en référence au danger d'optimiser trop agressivement lors de la sélection du modèle. Ma première question est la suivante:...
Je rédige une revue de la littérature sur un problème de santé publique actuel où les données sont confondues: Quelles sont les études de cas historiques courantes utilisées dans l'enseignement de la santé publique / épidémiologie où des relations ou des inférences invalides ou confondues ont été...
Scikit a CalibratedClassifierCV , qui nous permet d'étalonner nos modèles sur une paire X, y particulière. Il indique également clairement quedata for fitting the classifier and for calibrating it must be disjoint. S'ils doivent être disjoints, est-il légitime de former le classificateur avec les...
J'ai parcouru divers fils ici, mais je ne pense pas que ma question exacte soit répondue. J'ai un ensemble de données d'environ 50 000 étudiants et leur temps d'abandon. Je vais effectuer une régression des risques proportionnels avec un grand nombre de covariables potentielles. Je vais également...
Il semble y avoir des conseils contradictoires sur la façon de gérer la comparaison entre l'erreur de train et l'erreur de test, en particulier lorsqu'il y a un écart entre les deux. Il semble y avoir deux écoles de pensée qui, selon moi, semblent en conflit. Je cherche à comprendre comment...
La page de Scikit Learn sur la sélection de modèles mentionne l'utilisation de la validation croisée imbriquée: >>> clf = GridSearchCV(estimator=svc, param_grid=dict(gamma=gammas), ... n_jobs=-1) >>> cross_validation.cross_val_score(clf, X_digits, y_digits) Deux boucles de...
Habituellement, dans la régression logistique, nous ajustons un modèle et obtenons des prédictions sur l'ensemble d'entraînement. Nous validons ensuite ces prévisions d'entraînement (quelque chose comme ici ) et décidons de la valeur seuil optimale en fonction de quelque chose comme la courbe ROC....
Je pense que je comprends comment fonctionnent les principes fondamentaux du bootstrap , mais je ne suis pas sûr de comprendre comment je peux utiliser le bootstrap pour la sélection de modèle ou pour éviter le sur-ajustement. Pour la sélection du modèle, par exemple, choisiriez-vous simplement le...
Quelqu'un peut-il m'expliquer mon modèle Cox en anglais simple? J'ai ajusté le modèle de régression de Cox suivant à toutes mes données en utilisant la cphfonction. Mes données sont enregistrées dans un objet appelé Data. Les variables w, xet ysont continues; zest un facteur de deux niveaux. Le...
J'utilise scikit-learn pour effectuer une régression logistique avec validation croisée sur un ensemble de données (environ 14 paramètres avec> 7000 observations normalisées). J'ai également un classificateur cible qui a une valeur de 1 ou 0. Le problème que j'ai, c'est que quel que soit le...
Supposons que j'ai un partage 80/20 entre les observations de modélisation / validation. J'ai ajusté un modèle à l'ensemble de données de modélisation et je suis à l'aise avec l'erreur que je vois sur l'ensemble de données de validation. Avant de déployer mon modèle pour noter les observations...
Lors de la validation croisée de k-fold, je comprends que vous obtenez les mesures de précision en pointant tous les plis sauf un sur ce pli et faites des prédictions, puis répétez ce processus fois. Vous pouvez ensuite exécuter des métriques d'exactitude sur toutes vos instances (précision,...
Lorsque nous évaluons la qualité d'une forêt aléatoire, par exemple en utilisant l'AUC, est-il plus approprié de calculer ces quantités sur les échantillons hors sac ou sur l'ensemble de validation croisée? J'entends que le calculer sur les échantillons OOB donne une évaluation plus pessimiste,...
Je viens de terminer "Une introduction à l'apprentissage statistique" . Je me demandais si l'utilisation de la validation croisée pour trouver les meilleurs paramètres de réglage pour diverses techniques d'apprentissage automatique était différente de l'espionnage des données? Nous vérifions à...
J'essaie d'écrire ma propre fonction pour l'analyse des composants principaux, PCA (bien sûr, il y a déjà beaucoup écrit mais je suis juste intéressé à implémenter des choses par moi-même). Le principal problème que j'ai rencontré est l'étape de validation croisée et le calcul de la somme prédite...