Question de surajustement

Considérez-vous cela comme un sur-ajustement?

Non, ce n'est pas un exemple de sur-ajustement! Il serait exagéré si la perte valide commençait à augmenter alors que la perte d'entraînement continuait à diminuer.

Edit: la réponse à la deuxième question Cela vaut la peine de considérer comment est calculé auc. Nous avons les probabilités de chaque instance d'appartenir à la classe positive. Ensuite, nous trions ces probabilités. Si toutes les instances positives apparaissent dans la première partie de la liste triée et que tous les négatifs sont dans la seconde, alors auc est 1 (la "performance parfaite" selon l'observation auc).

Considérons maintenant le calcul des pertes. Par exemple entropie croisée binaire. La formule est la où - vrai libellé, - probabilité que appartient à la classe positive. Nous pouvons prédire pour chaque observation négative, que la probabilité est de 0,998, alors la perte sera énorme. Mais si les probabilités prédites pour les observations positives sont de 0,999 (plus élevées que pour les négatives), alors en termes d'AUC, nous aurons une performance parfaite.$loss = -1/N * \sum{y_i * log(p(y_i)) + (1 - y_i)*log(1 - p(y_i))}$$y_i$$p(y_i)$$y_i$

C'est pourquoi je suppose que nous devons évaluer la perte.

Non, ce n'est pas trop.

Tout d'abord, l'AUC est exactement la même entre les trains et les ensembles de validation. Les pertes peuvent avoir un écart mais comme la perte de validation est toujours en baisse (même si lentement), vous êtes OK.

Et celui-ci? Dans ce cas, la perte de validation augmente mais l'AUC ne suit pas le même schéma, lequel croire à la perte ou aux performances?