J'ai lu que la validation croisée avec abandon fournit une «estimation sans biais de la véritable performance de généralisation» (par exemple ici ) et que c'est une propriété avantageuse du CV avec abandon.
Cependant, je ne vois pas comment cela découle des propriétés du CV à laisser-un. Pourquoi le biais de cet estimateur est-il faible par rapport aux autres?
Mise à jour:
Je continue à enquêter sur le sujet, et je pense que cela a à voir avec le fait que cet estimateur est moins pessimiste que, disons, la validation K-fold, car il utilise toutes les données sauf une instance, mais ce serait bien de lire une mathématique dérivation de cela.
cross-validation
model-selection
bias
Amelio Vazquez-Reina
la source
la source
Réponses:
Je ne pense pas qu'il soit nécessaire de dériver mathématiquement le fait qu'en ML, avec l'augmentation de la taille des tests d'entraînement, les taux d'erreur de prédiction diminuent. LOO - par rapport à la validation k-fold - maximise la taille de l'ensemble d'entraînement, comme vous l'avez observé.
Cependant, LOO peut être sensible au «jumelage» - lorsque vous avez des échantillons hautement corrélés, avec LOO, vous avez la garantie que pour chaque échantillon utilisé comme ensemble de test, les «jumeaux» restants seront dans l'ensemble d'apprentissage. Cela peut être diagnostiqué par une diminution rapide de la précision lorsque la LOO est remplacée par, disons, une validation croisée 10 fois (ou une validation stratifiée, si par exemple les échantillons sont appariés). D'après mon expérience, cela peut conduire à une catastrophe si généralement votre ensemble de données est petit.
Dans un monde parfait, vous avez également un ensemble de validation que vous n'utilisez jamais pour former votre modèle, même pas dans un cadre de CV. Vous le conservez dans le seul but de tester les performances finales d'un modèle avant d'envoyer le papier :-)
la source