Je suis tombé sur ce fil en regardant les différences entre le bootstrap et la validation croisée - une excellente réponse et des références d'ailleurs. Ce que je me demande maintenant, c'est si je devais répéter un CV multiplié par 10 pour calculer la précision d'un classificateur, combien de fois...
D'après An Introduction to Statistical Learning de James et al., L'estimation de validation croisée avec oubli (LOOCV) est définie par CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i where MSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i =...
J'utilise cv.glmnetpour trouver des prédicteurs. La configuration que j'utilise est la suivante: lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold) bestlambda<-lassoResults$lambda.min results<-predict(lassoResults,s=bestlambda,type="coefficients")...
Supposons que je fasse une validation croisée K-fold avec K = 10 plis. Il y aura une matrice de confusion pour chaque pli. Lors de la communication des résultats, dois-je calculer quelle est la matrice de confusion moyenne, ou simplement additionner les matrices de
Afin d'étalonner un niveau de confiance à une probabilité dans un apprentissage supervisé (par exemple, pour mapper la confiance d'un SVM ou d'un arbre de décision à l'aide de données suréchantillonnées), une méthode consiste à utiliser la mise à l'échelle de Platt (par exemple, obtenir des...
Tout d'abord, des excuses pour avoir posté une question qui a déjà été longuement discutée ici , ici , ici , ici , iciet pour réchauffer un vieux sujet. Je sais que @DikranMarsupial a longuement écrit sur ce sujet dans des articles et des journaux, mais je suis toujours confus, et à en juger par le...
J'utilise des modèles SVM pour faire des prévisions à court terme des polluants atmosphériques. Pour former un nouveau modèle, je dois trouver des métaparamètres appropriés pour un modèle SVM (je veux dire C, gamma, etc.). La documentation de Libsvm (et de nombreux autres livres que j'ai lus)...
Supposons que j'ai des données normalement distribuées. Pour chaque élément des données, je veux vérifier combien de SD il est éloigné de la moyenne. Il peut y avoir une valeur aberrante dans les données (probablement une seule, mais peut-être aussi deux ou trois) ou non, mais cette valeur...
J'ai lu les articles suivants pour la validation croisée imbriquée et je ne suis toujours pas sûr à 100% de ce que je dois faire avec la sélection de modèle avec la validation croisée imbriquée: Validation croisée imbriquée pour la sélection du modèle Sélection de modèle et validation croisée: la...
Si j'ai des données et que j'exécute une classification (disons forêt aléatoire sur ces données) avec validation croisée (disons 5 fois), pourrais-je conclure qu'il n'y a pas de sur-ajustement dans ma
Quelqu'un peut-il me dire exactement ce que donne une analyse de validation croisée? Est-ce juste la précision moyenne ou donne-t-il un modèle avec des paramètres ajustés? Parce que, j'ai entendu quelque part que la validation croisée est utilisée pour le réglage des
J'ai utilisé la validation croisée de k-fold répétée et j'ai signalé la moyenne (de la métrique d'évaluation, par exemple, la sensibilité, la spécificité) calculée comme la moyenne générale à travers les plis des différentes séries de validation croisée. Cependant, je ne sais pas comment je dois...
Si vous ajustez une fonction non linéaire à un ensemble de points (en supposant qu'il n'y a qu'une seule ordonnée pour chaque abscisse), le résultat peut être: une fonction très complexe avec de petits résidus une fonction très simple avec de gros résidus La validation croisée est couramment...
Le package caret est une bibliothèque R brillante pour la construction de plusieurs modèles d'apprentissage automatique et a plusieurs fonctions pour la construction et l'évaluation de modèles. Pour le réglage des paramètres et la formation des modèles, le package caret propose la méthode...
La normalisation des données (pour avoir une moyenne nulle et un écart-type unitaire) avant d'effectuer une validation croisée multipliée par k a-t-elle des conséquences négatives telles qu'un sur-ajustement? Remarque: c'est pour une situation où #cases> total #features Je transforme certaines...
J'ai un ensemble de données de 120 échantillons dans un paramètre de validation croisée 10 fois. Actuellement, je prends les données d'entraînement du premier holdout et fais une validation croisée 5 fois dessus pour choisir les valeurs de gamma et C par recherche dans la grille. J'utilise SVM avec...
Je suis tombé sur cet article de 2012 de Gitte Vanwinckelen et Hendrik Blockeel remettant en question l'utilité de la validation croisée répétée, qui est devenue une technique populaire pour réduire la variance de la validation croisée. Les auteurs ont démontré que, même si la validation croisée...
Je viens de revoir une conférence du cours Machine Learning sur Coursera. Dans la section où le professeur discute de l'ACP pour le prétraitement des données dans les applications d'apprentissage supervisé, il dit que l'ACP ne devrait être effectuée que sur les données de formation, puis la...
Je suis très nouveau dans l'analyse des données fonctionnelles (FDA). Je suis en train de lire: Ramsay, James O., et Silverman, Bernard W. (2006), Functional Data Analysis, 2e éd., Springer, New York. Cependant, je ne sais toujours pas très bien où / quand utiliser la FDA? Quelqu'un pourrait-il me...
"Validation Bootstrap" / "validation croisée de rééchantillonnage" est nouveau pour moi, mais a été discuté par la réponse à cette question . Je suppose que cela implique 2 types de données: les données réelles et les données simulées, où un ensemble donné de données simulées est généré à partir...