La précision de la machine augmentant le gradient diminue à mesure que le nombre d'itérations augmente

J'expérimente l'algorithme de la machine de renforcement de gradient via le caretpackage en R.

À l'aide d'un petit ensemble de données d'admission à l'université, j'ai exécuté le code suivant:

library(caret)

### Load admissions dataset. ###
mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv")

### Create yes/no levels for admission. ### 
mydata$admit_factor[mydata$admit==0] <- "no"
mydata$admit_factor[mydata$admit==1] <- "yes"             

### Gradient boosting machine algorithm. ###
set.seed(123)
fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary)
grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage = .001, n.minobsinnode = 20)
fit.gbm <- train(as.factor(admit_factor) ~ . - admit, data=mydata, method = 'gbm', trControl=fitControl, tuneGrid=grid, metric='Accuracy')
plot(fit.gbm)

et j'ai constaté à ma grande surprise que la précision de validation croisée du modèle a diminué plutôt qu'augmenté à mesure que le nombre d'itérations de renforcement augmentait, atteignant une précision minimale d'environ 0,59 à ~ 450 000 itérations.

Ai-je mal implémenté l'algorithme GBM?

EDIT: Suite à la suggestion d'Underminer, j'ai réexécuté le caretcode ci-dessus mais concentré sur l'exécution de 100 à 5 000 itérations de boost:

set.seed(123)
fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary)
grid <- expand.grid(n.trees = seq(100,5000,100), interaction.depth = 2, shrinkage = .001, n.minobsinnode = 20)
fit.gbm <- train(as.factor(admit_factor) ~ . - admit, data=mydata, method = 'gbm', trControl=fitControl, tuneGrid=grid, metric='Accuracy')
plot(fit.gbm)

Le graphique résultant montre que la précision culmine à près de 0,705 à environ 1800 itérations:

Ce qui est curieux, c'est que la précision n'a pas atteint un plateau à ~ 0,70 mais a plutôt diminué après 5 000 itérations.

En général, l'augmentation de l'erreur peut augmenter avec le nombre d'itérations, en particulier lorsque les données sont bruyantes (par exemple, les cas mal étiquetés). Cela pourrait être votre problème, mais je ne pourrais pas dire sans en savoir plus sur vos données

Fondamentalement, le renforcement peut «se concentrer» sur la prévision correcte des cas contenant des informations erronées et, ce faisant, dégrader les performances moyennes d'autres cas plus substantiels.

Ce lien ( Boosting and Noise ) montre une meilleure description que je peux fournir du problème.

Cet article ( Random Classification Noise ) de Long et Servedio fournit des détails techniques sur le problème.

Ce que vous avez affiché est un exemple classique de sur-ajustement. La petite hausse par erreur provient de performances médiocres sur la partie validation de votre ensemble de données à validation croisée. Plus d'itérations devraient presque toujours améliorer l'erreur sur l'ensemble d'apprentissage, mais l'inverse est vrai pour l'ensemble de validation / test.

Codes pour reproduire un résultat similaire, sans recherche de grille,

mod = gbm(admit ~ .,
      data = mydata[,-5],
      n.trees=100000,
      shrinkage=0.001,
      interaction.depth=2,
      n.minobsinnode=10,
      cv.folds=5,
      verbose=TRUE,
      n.cores=2)

best.iter <- gbm.perf(mod, method="OOB", plot.it=TRUE, oobag.curve=TRUE, overlay=TRUE)
print(best.iter)
[1] 1487
pred = as.integer(predict(mod, newdata=mydata[,-5], n.trees=best.iter) > 0)
y = mydata[,1]
sum(pred == y)/length(y)
[1] 0.7225

Le paquet gbm a une fonction pour estimer le nombre optimal d'itérations (= nombre d'arbres ou nombre de fonctions de base),

gbm.perf(mod, method="OOB", plot.it=TRUE, oobag=TRUE, overlay=TRUE)

Vous n'avez pas besoin du train de caret pour cela.