Mon manuel sur la validation croisée est Les éléments de l'apprentissage statistique par Hastie et al. (2e éd.). Dans les sections 7.10.1 et 7.12, ils parlent de la différence entre l'erreur de test conditionnelle
Ils ont expliqué que CV ne fait que bien estimer l'erreur de test attendue.
Ma question est la suivante: y a-t-il une raison pour laquelle nous nous soucierions de l'erreur de test conditionnel?
La seule raison pour laquelle je pouvais penser est que nous voulons répondre à la question «Si Dieu met ensembles de données sur la table, mais nous permet seulement de prendre 1 maison pour s'adapter à notre modèle, lequel devrions-nous choisir?
la source
Je pense au même passage et je me demande aussi quand je serais jamais intéressé par l'erreur de test conditionnel. De plus, pour autant que je sache, ils devraient être les mêmes de manière asymptotique: pour les très grands ensembles de formation et de test, la répartition précise de l'ensemble de formation / test ne devrait plus entraîner des estimations d'erreur de test conditionnelles différentes. Comme vous pouvez le voir dans Hastie et al. réserver leurs exemples sur les différences conditionnelles - attendues sont toujours basées sur un nombre relativement petit d'observations, ce qui, si je comprends bien, est la raison pour laquelle les erreurs de test conditionnelles et attendues semblent différentes dans les graphiques.
Le livre mentionne que l'erreur de test attendue fait la moyenne du caractère aléatoire dans l'ensemble d'apprentissage, contrairement à l'erreur de test (conditionnelle). Maintenant, quand voudrais-je prendre en compte l'incertitude associée à la partition d'entraînement / de test que je prends en compte? Ma réponse serait que je ne suis généralement jamais intéressé à accepter ce type d'incertitude car ce n'est pas ce qui m'intéresse lorsque je fais une évaluation de modèle: En évaluant la qualité prédictive d'un modèle, je veux savoir comment il ferait dans disons la prévision de la météo demain. La météo de demain est liée à mes données globales à peu près comme mes données de test sont liées à mes données d'entraînement - je calcule donc une erreur de test conditionnelle pour évaluer mon modèle. cependant, la météo de demain est liée à mes données globales, pas comme un ensemble de tests spécifique est lié à l'ensemble d'entraînement spécifique correspondant, mais comment l'ensemble de tests moyen est lié à l'ensemble d'entraînement moyen. J'obtiens donc la prochaine partition de formation / ensemble de tests et j'obtiens une autre erreur de test conditionnel. Je le fais plusieurs fois (comme par exemple dans la validation croisée K-fold) - la variation des erreurs de test conditionnelles individuelles est moyenne - et je reste avec l'erreur de test attendue; ce qui, encore une fois, est tout ce que je peux penser de vouloir obtenir. dans la validation croisée pliée en K) - la variation des erreurs de test conditionnelles individuelles est moyenne - et je me retrouve avec l'erreur de test attendue; ce qui, encore une fois, est tout ce que je peux penser de vouloir obtenir. dans la validation croisée pliée en K) - la variation des erreurs de test conditionnelles individuelles est moyenne - et je me retrouve avec l'erreur de test attendue; ce qui, encore une fois, est tout ce que je peux penser de vouloir obtenir.
Autrement dit, dans les graphiques d'erreur de test / erreur de test attendue dans Hastie et al., Nous avons une idée de l'efficacité de l'estimateur du modèle: si les erreurs de test conditionnelles sont largement dispersées autour de l'erreur de test attendue, ceci est une indication de l'estimateur étant inefficace, alors qu'une variation moindre des erreurs de test conditionnelles indiquerait un estimateur plus efficace, compte tenu de la quantité d'observations.
Bottomline: Je peux me tromper ici, et je serais heureux d'être corrigé à ce sujet, mais comme je le vois pour le moment, le concept de l'erreur de test conditionnelle est une tentative douteuse d'évaluer la validité d'un modèle externe en s'autorisant une seule formation / test de partitionnement. Pour les échantillons de grande taille, ce tir unique devrait être équivalent à des erreurs de test conditoinal moyennes sur de nombreux coups de formation / partitionnement de test, c'est-à-dire l'erreur de test attendue. Pour les petits échantillons où une différence se produit, la mesure réelle d'intérêt me semble être l'attente, et non l'erreur de test conditionnelle.
la source