J'ai utilisé la validation croisée de k-fold répétée et j'ai signalé la moyenne (de la métrique d'évaluation, par exemple, la sensibilité, la spécificité) calculée comme la moyenne générale à travers les plis des différentes séries de validation croisée.
Cependant, je ne sais pas comment je dois signaler l'écart. J'ai trouvé ici de nombreuses questions sur la validation croisée répétée, mais aucune, à ma connaissance, ne répond explicitement à la question de la variance dans les tests de validation croisée répétée.
Je comprends que la variance totale est due à: 1) l'instabilité du modèle et 2) la taille limitée de l'échantillon.
Il semble qu'il existe 4 approches différentes pour calculer la variance pour la validation croisée multipliée par k:
1) la variance de la mesure de performance moyenne estimée (par exemple, la précision) entre les séries de validation croisée est-elle une estimation valide de la variance?
2) la variance regroupée en regroupant les variances spécifiques à l'exécution (qui sont calculées à travers différents plis d'un essai de validation croisée).
3) pour concaténer les résultats de la classification de différents plis d'un essai de validation croisée dans un grand vecteur. Par exemple, si le nombre de données de test dans chaque pli est de 10 et que j'ai un CV de 10 fois, le vecteur résultant pour une répétition sera de taille 100. Maintenant, si je répète mon test de validation croisée 10 fois, je ont 10 vecteurs de taille 100, chacun contenant les résultats de la classification d'un cycle de CV 10 fois. Maintenant, je calculerais la moyenne et la variance comme le cas d'un CV à exécution unique.
4) J'ai également lu (équations 2 et 3 en 1 ) que la variance est la somme de la variance externe et de la variance interne attendue. Si je comprends bien, la variance externe est la variance des performances moyennes spécifiques à la répétition, et la variance interne est la variance entre les différents plis d'une série de validation croisée.
J'apprécierais grandement votre aide et vos conseils sur la variance qui serait la plus appropriée à signaler pour le test de validation croisée répété.
Merci,
la source
Réponses:
1 et 3 me semblent invalides car ils ne prennent pas en compte les dépendances entre les répétitions. En d'autres termes, les cycles répétés k-fold sont plus similaires les uns aux autres que les répétitions réelles de l'expérience avec des données indépendantes.
2 ne prend pas en compte les dépendances entre les plis au cours d'un même tirage.
Je n'en sais pas 4.
Une référence potentiellement pertinente (et décourageante) est Bengio & Grandvalet, 2004, "No Unbias Estimator of the Variance of K-Fold Cross-Validation"
la source