Il est bien connu, en particulier dans le traitement du langage naturel, que l’apprentissage automatique doit se dérouler en deux étapes, une étape de formation et une étape d’évaluation, et utiliser des données différentes. Pourquoi est-ce? Intuitivement, ce processus permet d'éviter de...
La validation croisée K-fold peut être utilisée pour estimer la capacité de généralisation d'un classificateur donné. Puis-je (ou devrais-je) également calculer une variance regroupée à partir de tous les cycles de validation afin d'obtenir une meilleure estimation de sa variance? Sinon, pourquoi?...
Dans la classification de texte, j'ai un ensemble de formation avec environ 800 échantillons et un ensemble de test avec environ 150 échantillons. L'ensemble de test n'a jamais été utilisé et attend d'être utilisé jusqu'à la fin. J'utilise l'ensemble de formation de 800 échantillons, avec une...
Lorsque j'utilise GAM, cela me donne un DF résiduel de (dernière ligne du code). Qu'est-ce que ça veut dire? Au-delà de l'exemple GAM, en général, le nombre de degrés de liberté peut-il être un nombre non entier?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call:...
Je crois comprendre qu'avec la validation croisée et la sélection de modèles, nous essayons de résoudre deux choses: P1 . Estimer la perte attendue sur la population lors de la formation avec notre échantillon P2 . Mesurer et rendre compte de notre incertitude sur cette estimation (variance,...
Dans une question ailleurs sur ce site, plusieurs réponses ont mentionné que l'AIC est équivalent à la validation croisée avec absence de contact (LOO) et que le BIC est équivalent à la validation croisée K-fold. Existe-t-il un moyen de démontrer empiriquement cela dans R de telle sorte que les...
Je fais une validation croisée imbriquée. J'ai lu que la validation croisée avec un seul retrait peut être biaisée (je ne me souviens pas pourquoi). Est-il préférable d'utiliser la validation croisée 10 fois ou la validation croisée avec suppression de la mise à part le temps d'exécution plus long...
J'ai quelques données et je veux construire un modèle (disons un modèle de régression linéaire) à partir de ces données. Dans une prochaine étape, je souhaite appliquer la validation croisée avec absence de changement (LOOCV) sur le modèle afin de voir à quel point il fonctionne. Si j'ai bien...
Dans certaines conférences et tutoriels que j'ai vus, ils suggèrent de diviser vos données en trois parties: formation, validation et test. Mais il n'est pas clair comment le jeu de données de test doit être utilisé, ni comment cette approche est meilleure que la validation croisée sur l'ensemble...
Dans la discussion: comment générer une courbe roc pour la classification binaire , je pense que la confusion était qu'un "classificateur binaire" (qui est tout classificateur qui sépare 2 classes) était pour Yang ce qu'on appelle un "classificateur discret" (qui produit sorties discrètes 0/1 comme...
Je comprends le rôle que joue lambda dans une régression élastique-nette. Et je peux comprendre pourquoi on sélectionnerait lambda.min, la valeur de lambda qui minimise l'erreur de validation croisée. Ma question est: où dans la littérature statistique est-il recommandé d'utiliser lambda.1se,...
Je cherche une référence à l'article où la validation croisée k-fold a été introduite (plutôt qu'une simple bonne référence académique pour le sujet). Il est peut-être trop loin dans la nuit des temps pour identifier sans ambiguïté le tout premier article, de sorte que tous les premiers articles où...
Quelle est la méthode d'échantillonnage la plus appropriée pour évaluer la performance d'un classificateur sur un ensemble de données particulier et la comparer avec d'autres classificateurs? La validation croisée semble être une pratique standard, mais j'ai lu que des méthodes telles que le...
Ce matin, je me suis réveillé en me demandant (cela pourrait être dû au fait que la nuit dernière je n'ai pas beaucoup dormi): étant donné que la validation croisée semble être la pierre angulaire de la prévision des séries chronologiques, quels sont les modèles que je devrais "normalement...
J'ai lu de nombreux articles de recherche sur la classification des sentiments et des sujets connexes. La plupart d'entre eux utilisent une validation croisée 10 fois pour former et tester les classificateurs. Cela signifie qu'aucun test / validation séparé n'est effectué. Pourquoi donc? Quels sont...
Comme la science doit être reproductible, par définition, il est de plus en plus reconnu que les données et le code sont un élément essentiel de la reproductibilité, comme discuté par la table ronde de Yale pour le partage des données et du code . En examinant un manuscrit pour une revue qui ne...
Je suis intéressé par la sélection de modèles dans un cadre de séries chronologiques. Pour être concret, supposons que je veuille sélectionner un modèle ARMA à partir d'un pool de modèles ARMA avec différents ordres de décalage. L' intention ultime est la prévision . La sélection du modèle peut...
Dans son article Linear Model Selection by Cross-Validation , Jun Shao montre que pour le problème de la sélection des variables dans la régression linéaire multivariée, la méthode de validation croisée avec oubli (LOOCV) est `` asymptotiquement incohérente ''. En clair, il a tendance à...
Supposons que j'ai formé plusieurs modèles sur l'ensemble d'entraînement, choisissez le meilleur en utilisant l'ensemble de validation croisée et les performances mesurées sur l'ensemble d'essai. Alors maintenant, j'ai un dernier meilleur modèle. Dois-je le recycler sur toutes mes données...
J'ai trouvé des définitions potentiellement contradictoires pour la statistique de validation croisée (CV) et pour la statistique de validation croisée généralisée (GCV) associée à un modèle linéaire (avec un vecteur d'erreur homoscédastique normal ).εOui= Xβ + εOui=Xβ+εY = X\boldsymbol\beta +...