Définition mathématique / algorithmique du sur-ajustement

Existe-t-il une définition mathématique ou algorithmique du sur-ajustement?

Les définitions souvent fournies sont le tracé 2D classique de points avec une ligne passant par chaque point et la courbe de perte de validation qui augmente soudainement.

Mais y a-t-il une définition mathématiquement rigoureuse?

Oui, il existe une définition (un peu plus) rigoureuse:

Étant donné un modèle avec un ensemble de paramètres, le modèle peut être considéré comme sur-adaptant les données si après un certain nombre d'étapes d'apprentissage, l'erreur d'apprentissage continue de diminuer tandis que l'erreur hors échantillon (test) commence à augmenter.

^{Dans cet exemple, l'erreur hors échantillon (test / validation) diminue d'abord en synchronisation avec l'erreur de train, puis elle commence à augmenter vers la 90e époque, c'est-à-dire lorsque le surapprentissage commence}

Une autre façon de voir les choses est en termes de biais et de variance. L'erreur hors échantillon pour un modèle peut être décomposée en deux composants:

• Biais: erreur due à la différence entre la valeur attendue du modèle estimé et la valeur attendue du vrai modèle.
• Variance: erreur due au fait que le modèle est sensible aux petites fluctuations de l'ensemble de données.

$X$

$Y = f(X) + \epsilon$$\epsilon$$E(\epsilon)=0$$Var(\epsilon) = \sigma_{\epsilon}$

et le modèle estimé est:

$\hat{Y} = \hat{f}(X)$

$x_t$

$Err(x_t) = \sigma_{\epsilon} + Bias^2 + Variance$

$Bias^2 = E[f(x_t)- \hat{f}(x_t)]^2$$Variance = E[\hat{f}(x_t)- E[\hat{f}(x_t)]]^2$

(Strictement parlant, cette décomposition s'applique dans le cas de la régression, mais une décomposition similaire fonctionne pour toute fonction de perte, c'est-à-dire dans le cas de la classification également).

Les deux définitions ci-dessus sont liées à la complexité du modèle (mesurée en termes de nombre de paramètres dans le modèle): plus la complexité du modèle est élevée, plus il est probable qu'un sur-ajustement se produise.

Voir le chapitre 7 des éléments de l'apprentissage statistique pour un traitement mathématique rigoureux du sujet.

^{Le compromis entre la variance et la variance (c'est-à-dire le sur-ajustement) augmente avec la complexité du modèle. Extrait du chapitre 7 de l'ESL}