La validation croisée répétée doit-elle être utilisée pour évaluer les modèles prédictifs?

Je suis tombé sur cet article de 2012 de Gitte Vanwinckelen et Hendrik Blockeel remettant en question l'utilité de la validation croisée répétée, qui est devenue une technique populaire pour réduire la variance de la validation croisée.

Les auteurs ont démontré que, même si la validation croisée répétée diminue la variance des prédictions du modèle, étant donné que le même ensemble de données d'échantillonnage est rééchantillonné, la moyenne des estimations de validation croisée rééchantillonnées converge vers une estimation biaisée de la véritable précision prédictive et n'est donc pas utile.

La validation croisée répétée doit-elle être utilisée malgré ces limitations?

L'argument que le papier semble faire me semble étrange.

Selon le document, l'objectif du CV est d'estimer , la performance prédictive attendue du modèle sur de nouvelles données, étant donné que le modèle a été formé sur l'ensemble de données observées S . Lorsque nous effectuons k CV -fold, on obtient une estimation A de ce nombre. En raison de la répartition aléatoire de S en k plis, ceci est une variable aléatoire $\alpha_2$$S$$k$$\hat A$$S$$k$ avecmoyenne μ k etvariance σ 2 k . En revanche, leCV répété n fois donne une estimation avec la même moyenne$\hat A \sim f(A)$$\mu_k$$\sigma^2_k$$n$ mais plus petite variance σ 2 k / n .$\mu_k$$\sigma^2_k/n$

Évidemment, . Ce parti pris est quelque chose que nous devons accepter.$\alpha_2\ne \mu_k$

Cependant, l'erreur attendue sera plus grande pour les petits n , et sera le plus grand pour n = 1 , au moins sous des hypothèses raisonnables sur f ( A ) , par exemple lorsque A ˙ ~ N ( μ k , σ 2 k / n ) . En d'autres termes, un CV répété permet d'obtenir une estimation plus précise de μ $\mathbb E\big[|\alpha_2-\hat A|^2\big]$$n$$n=1$$f(A)$$\hat A\mathrel{\dot\sim} \mathcal N(\mu_k,\sigma^2_k/n)$$\mu_k$et c'est une bonne chose car elle donne une estimation plus précise de .$\alpha_2$

Par conséquent, un CV répété est strictement plus précis qu'un CV non répété.

Les auteurs ne contestent pas cela! Au lieu de cela, ils affirment, sur la base des simulations, que

réduire la variance [en répétant CV] est, dans de nombreux cas, peu utile et essentiellement un gaspillage de ressources de calcul.

Cela signifie simplement que dans leurs simulations était assez faible; et en effet, la plus petite taille d'échantillon qu'ils ont utilisée était de 200 , ce qui est probablement assez grand pour produire un petit σ 2 k . (La différence dans les estimations obtenues avec le CV non répété et le CV répété 30 fois est toujours faible.) Avec des échantillons de plus petite taille, on peut s'attendre à une plus grande variance entre les répétitions.$\sigma^2_k$$200$$\sigma^2_k$

CAVEAT: intervalles de confiance!

Un autre point soulevé par les auteurs est que

la déclaration des intervalles de confiance [dans la validation croisée répétée] est trompeuse.

Il semble qu'ils se réfèrent aux intervalles de confiance pour la moyenne des répétitions de CV. Je suis tout à fait d'accord pour dire que cela n'a aucun sens à signaler! Plus le CV est répété, plus ce CI sera petit, mais personne ne s'intéresse au CI autour de notre estimation de ! Nous nous soucions du CI autour de notre estimation de α 2 .$\mu_k$$\alpha_2$

Les auteurs rapportent également des IC pour le CV non répété, et il n'est pas tout à fait clair pour moi comment ces IC ont été construits. Je suppose que ce sont les IC pour les moyennes à travers les plis. Je dirais que ces CI sont également à peu près dénués de sens!$k$

adult$\mu_k$

CAVEAT PLUS GENERAL: variance de CV.

Vous avez écrit ce CV répété

est devenu une technique populaire pour réduire la variance de la validation croisée.

$\mu_k$$k=N$$k$

Pourquoi donc? En effet, LOOCV présente la variance la plus élevée comme estimation de$\alpha_1$$S$