Bonne littérature sur la validation croisée

10

Quelqu'un connaît-il un bon livre / une bonne page Web pour commencer à apprendre les techniques de validation croisée?

references cross-validation MarkDollar
la source

Réponses:

2

Ce site Web contient d'excellentes informations.

En particulier, la quatrième section de ce PDF est ce que vous recherchez

Peter K.
la source
5

Si la validation croisée doit être utilisée pour la sélection de modèle / caractéristique, il convient de garder à l'esprit qu'il est possible de sur-ajuster la statistique de validation croisée et de se retrouver avec un modèle qui fonctionne mal et la statistique de validation croisée optimisée. peut être une estimation de performance très optimiste. Les effets de cela peuvent être étonnamment importants. Voir Ambroise et McLachlan pour un exemple de cela dans un paramètre de sélection de fonction et Cawley et Talbot pour un exemple dans un paramètre de sélection de modèle.

Dikran Marsupial
la source
Il est bon de le mentionner, mais il convient de dire que ce sont des exemples d'utilisation abusive ou de confiance excessive de CV, et non quelques inconvénients de la méthode elle-même.
1
en effet, cependant, c'est une manière dont il est très souvent mal utilisé - il est donc important d'être conscient lors de l'apprentissage de la validation croisée! Plus de validation croisée est souvent une bonne solution, c'est-à-dire une validation croisée imbriquée, ou, comme Stone le dit, une validation «double croix». Le problème affecte à peu près n'importe quelle fonction ou critère de sélection de modèle optimisé pour obtenir un modèle; la validation croisée n'a rien de spécial en ce sens.
Dikran Marsupial
0

Je recommanderais également la validation croisée par Payam Refaeilzadeh, Lei Tang et Huan Liu.

Peter K.
la source