Comment la validation croisée k-fold s'inscrit-elle dans le contexte des ensembles de formation / validation / test?

Ma principale question est de savoir comment comprendre la validation croisée k-fold dans le contexte des ensembles de formation / validation / test (si cela correspond à un tel contexte).

Habituellement, les gens parlent de diviser les données en un ensemble de formation, de validation et de test - disons à un ratio de 60/20/20 par cours d'Andrew Ng - où l'ensemble de validation est utilisé pour identifier les paramètres optimaux pour la formation du modèle.

Cependant, si l'on voulait utiliser la validation croisée k-fold dans l'espoir d'obtenir une mesure d'exactitude plus représentative lorsque la quantité de données est relativement petite, que signifie la validation croisée k-fold exactement dans cette répartition 60/20/20 scénario?

Par exemple, cela signifierait-il que nous combinerions réellement les ensembles de formation et de test (80% des données) et ferions une validation croisée sur eux pour obtenir notre mesure de précision (éliminer efficacement avec un `` ensemble de test '' explicite? Si oui, quel modèle formé utilisons-nous a) en production et b) à utiliser par rapport à l'ensemble de validation et à identifier les paramètres d'entraînement optimaux? Par exemple, une réponse possible pour a et b est peut-être d'utiliser le modèle le mieux replié.

La validation croisée permet généralement d'éviter la nécessité d'un ensemble de validation.

L'idée de base avec les ensembles de données de formation / validation / test est la suivante:

1. Entraînement: Vous essayez différents types de modèles avec différents choix d'hyperparamètres sur les données d'entraînement (par exemple, modèle linéaire avec différentes sélections de caractéristiques, réseau neuronal avec différents choix de couches, forêt aléatoire avec différentes valeurs de mtry).

2. Validation: vous comparez les performances des modèles à l'étape 1 en fonction de l' ensemble de validation et sélectionnez le gagnant. Cela permet d'éviter les mauvaises décisions prises en sur-adaptant l'ensemble de données d'entraînement.

3. Test: vous essayez le modèle gagnant sur les données de test juste pour avoir une idée de son efficacité réelle. Cela dénoue le sur-ajustement introduit à l'étape 2. Ici, vous ne prendrez plus de décision. Ce ne sont que des informations simples.

Maintenant, dans le cas où vous remplacez l'étape de validation par une validation croisée, l'attaque sur les données se fait presque à l'identique, mais vous n'avez qu'une formation et un ensemble de données de test. Il n'est pas nécessaire d'avoir un ensemble de données de validation.

1. Formation: voir ci-dessus.

2. Validation: vous effectuez une validation croisée sur les données de formation pour choisir le meilleur modèle de l'étape 1 en ce qui concerne les performances de validation croisée (ici, les données de formation d'origine sont divisées à plusieurs reprises en un ensemble temporaire de formation et de validation). Les modèles calculés en validation croisée ne sont utilisés que pour choisir le meilleur modèle de l'étape 1, qui sont tous calculés sur l'ensemble complet de formation.

3. Test: voir ci-dessus.

$K$ validation croisée pliée en est une stratégie de (ré) échantillonnage comme beaucoup d'autres.

La division en formation / validation / test est également une stratégie d'échantillonnage.

Vous pouvez remplacer la formation / validation par une autre stratégie d'échantillonnage. Ensuite , vous procéderez CV de 80% sur des données et test sur les 20% restants.$K$

Vous pouvez également l'appliquer à la partie test (c'est ce que les gens appellent la validation croisée imbriquée), où les plis sont utilisés pour la formation / validation et le reste pour tester, puis vous répétez cela sur les plis.$K-1$