Validation croisée avec oubli: estimation relativement impartiale des performances de généralisation?

8

J'ai lu que la validation croisée avec abandon fournit une «estimation sans biais de la véritable performance de généralisation» (par exemple ici ) et que c'est une propriété avantageuse du CV avec abandon.

Cependant, je ne vois pas comment cela découle des propriétés du CV à laisser-un. Pourquoi le biais de cet estimateur est-il faible par rapport aux autres?

Mise à jour:

Je continue à enquêter sur le sujet, et je pense que cela a à voir avec le fait que cet estimateur est moins pessimiste que, disons, la validation K-fold, car il utilise toutes les données sauf une instance, mais ce serait bien de lire une mathématique dérivation de cela.

Amelio Vazquez-Reina
la source
1
Salut Amelio - J'ai vu plusieurs dérivations mathématiques de cela dans les articles cités dans cette réponse stats.stackexchange.com/questions/280665/… - en voulez-vous une en particulier?
Xavier Bourret Sicotte

Réponses:

3

Je ne pense pas qu'il soit nécessaire de dériver mathématiquement le fait qu'en ML, avec l'augmentation de la taille des tests d'entraînement, les taux d'erreur de prédiction diminuent. LOO - par rapport à la validation k-fold - maximise la taille de l'ensemble d'entraînement, comme vous l'avez observé.

Cependant, LOO peut être sensible au «jumelage» - lorsque vous avez des échantillons hautement corrélés, avec LOO, vous avez la garantie que pour chaque échantillon utilisé comme ensemble de test, les «jumeaux» restants seront dans l'ensemble d'apprentissage. Cela peut être diagnostiqué par une diminution rapide de la précision lorsque la LOO est remplacée par, disons, une validation croisée 10 fois (ou une validation stratifiée, si par exemple les échantillons sont appariés). D'après mon expérience, cela peut conduire à une catastrophe si généralement votre ensemble de données est petit.

Dans un monde parfait, vous avez également un ensemble de validation que vous n'utilisez jamais pour former votre modèle, même pas dans un cadre de CV. Vous le conservez dans le seul but de tester les performances finales d'un modèle avant d'envoyer le papier :-)

janvier
la source