J'utilise actuellement l'arrêt précoce de mon travail pour éviter un ajustement excessif. Plus précisément, ceux pris sous forme d' arrêt anticipé, mais quand? .
Je veux maintenant comparer avec d'autres algorithmes de classification où il semble que la validation croisée 10 fois soit largement utilisée.
Cependant, je ne sais pas si la validation croisée est une méthode pour empêcher le sur-ajustement ou sélectionner de bons paramètres. (ou peut-être que c'est la même chose?). Je ne sais pas non plus si les méthodes d'arrêt précoce et la validation croisée peuvent être utilisées à la place l'une de l'autre ou en combinaison.
La question est donc: quelle est la relation entre l'arrêt précoce et la validation croisée?
la source
En plus des deux approches de généralisation que vous mentionnez, il y en a beaucoup d'autres.
Bon nombre de ces approches (y compris vos approches de validation croisée et d'arrêt précoce) peuvent être combinées ensemble pour maximiser les performances du modèle sur les données invisibles (performances de généralisation).
Une note sur l'approche d'arrêt rapide. Pour les réseaux neuronaux, Geoffrey Hinton recommande d' arrêter l'entraînement lorsque la précision de l'ensemble de tests atteint son maximum (la perte de l'ensemble de tests, à l'exclusion des termes de régularisation, est au minimum). Un "ajustement" supplémentaire à l'approche de Hinton est de ne pas s'arrêter si la précision de l'ensemble de tests est meilleure (la perte est plus petite) que pour votre ensemble d'entraînement, même si la précision de l'ensemble de tests a cessé de s'améliorer (la perte de l'ensemble de tests a cessé de diminuer). Il est peu probable que vous gagniez plus d'une époque de formation, mais cela peut parfois aider un peu, en particulier pour les petits test_sets. Ne faites pas cela pour des ensembles de tests extrêmement petits (plus petits qu'un ensemble d'échantillons représentatif, comme c'est parfois utilisé dans la formation et la validation croisée des plis en K).
la source
vous ne pouvez pas utiliser l'arrêt précoce et la validation croisée K-fold en combinaison. parce que l'arrêt précoce sélectionne le meilleur modèle de l'ensemble de validation, les performances doivent être vérifiées par l'ensemble de tests. mais dans la validation croisée en K, il n'y a pas de jeu de test, si vous utilisez un arrêt précoce pour sélectionner le meilleur modèle dans le jeu de validation, et il sera vérifié à nouveau dans le jeu de validation. la validation croisée K-fold obtient les performances moyennes (mesurées par la précision) du meilleur modèle, et cela n'a aucun sens.
la source