Quels paramètres doivent être utilisés pour un arrêt précoce?

J'entraîne un réseau de neurones pour mon projet en utilisant Keras. Keras a fourni une fonction d'arrêt anticipé. Puis-je savoir quels paramètres doivent être observés pour éviter que mon réseau de neurones ne se suralimente en utilisant l'arrêt précoce?

L'arrêt précoce consiste essentiellement à arrêter l'entraînement une fois que votre perte commence à augmenter (ou en d'autres termes, la précision de la validation commence à diminuer). Selon les documents, il est utilisé comme suit;

keras.callbacks.EarlyStopping(monitor='val_loss',
                              min_delta=0,
                              patience=0,
                              verbose=0, mode='auto')

Les valeurs dépendent de votre implémentation (problème, taille du lot etc ...) mais généralement pour éviter le surajustement que j'utiliserais;

1. Surveillez la perte de validation (besoin d'utiliser la validation croisée ou au moins former / tester des ensembles) en définissant l' monitor argument sur 'val_loss'.
2. min_deltaest un seuil pour déterminer si une perte à une certaine époque est une amélioration ou non. Si la différence de perte est inférieure min_delta, elle est quantifiée comme aucune amélioration. Mieux vaut laisser 0, car nous sommes intéressés par le moment où la perte s'aggrave.
3. patienceL'argument représente le nombre d'époques avant de s'arrêter une fois que votre perte commence à augmenter (cesse de s'améliorer). Cela dépend de votre implémentation, si vous utilisez de très petits lots ou un taux d'apprentissage élevé votre perte zig-zag (la précision sera plus bruyante) donc mieux vaut définir un gros patienceargument. Si vous utilisez de gros lots et un faible taux d'apprentissage, votre perte sera plus douce et vous pourrez donc utiliser un patienceargument plus petit . Dans tous les cas, je laisserai la valeur 2 pour donner plus de chance au modèle.
4. verbose décide quoi imprimer, laissez-le par défaut (0).
5. modeL'argument dépend de la direction de votre quantité surveillée (est-elle censée diminuer ou augmenter), puisque nous surveillons la perte, nous pouvons utiliser min. Mais laissons keras gérer cela pour nous et définissons cela surauto

Je voudrais donc utiliser quelque chose comme ça et expérimenter en traçant la perte d'erreur avec et sans arrêt précoce.

keras.callbacks.EarlyStopping(monitor='val_loss',
                              min_delta=0,
                              patience=2,
                              verbose=0, mode='auto')

Pour une éventuelle ambiguïté sur le fonctionnement des rappels, je vais essayer d'expliquer plus. Une fois que vous appelez fit(... callbacks=[es])votre modèle, Keras appelle des fonctions prédéterminées d'objets de rappel donnés. Ces fonctions peuvent être appelées on_train_begin, on_train_end, on_epoch_begin, on_epoch_endet on_batch_begin, on_batch_end. Le rappel d'arrêt précoce est appelé à chaque fin d'époque, compare la meilleure valeur surveillée à la valeur actuelle et s'arrête si les conditions sont remplies (combien d'époques se sont écoulées depuis l'observation de la meilleure valeur surveillée et est-ce plus qu'un argument de patience, la différence entre la dernière valeur est supérieure à min_delta etc.).

Comme indiqué par @BrentFaust dans les commentaires, l'entraînement du modèle se poursuivra jusqu'à ce que les conditions d'arrêt anticipé soient remplies ou que le epochsparamètre (par défaut = 10) fit()soit satisfait. La définition d'un rappel d'arrêt anticipé ne fera pas entraîner le modèle au-delà de son epochsparamètre. Ainsi, une fit()fonction d' appel avec une epochsvaleur plus élevée bénéficierait davantage du rappel de l'arrêt anticipé.