Dans quelles conditions les machines de renforcement de gradient surpassent-elles les forêts aléatoires?

La machine de boosting de gradient de Friedman peut -elle obtenir de meilleures performances que la forêt aléatoire de Breiman ? Si oui, dans quelles conditions ou quel type de jeu de données peut-il améliorer gbm?

Ce qui suit explique pourquoi Boosting surpasse généralement Random Forest dans la pratique, mais je serais très intéressé de savoir quels autres facteurs différents peuvent expliquer l'avantage de Boosting sur RF dans des paramètres spécifiques.

$error=bias+variance$

D'autre part, Boosting réduit le biais (en ajoutant chaque nouvel arbre dans la séquence pour que ce qui a été manqué par l'arbre précédent soit capturé), mais aussi la variance (en combinant de nombreux modèles).

Ainsi, Boosting réduit les erreurs sur les deux fronts, tandis que RF ne peut réduire les erreurs qu'en réduisant la variance. Bien sûr, comme je l'ai dit, il pourrait y avoir d'autres explications pour les meilleures performances de Boosting observées dans la pratique. Par exemple, à la page 591 du livre susmentionné, il est dit que Boosting surpasse RF sur le problème de la sphère imbriquée parce que dans ce cas particulier, la véritable frontière de décision est additive . (?) Ils signalent également que Boosting fait mieux que RF pour le spam et les données sur le logement en Californie.

Caruana et Niculescu-Mizil 2006 ont également trouvé que Boosting surpassait les RF . Malheureusement, ils rapportent les résultats mais n'essaient pas d'expliquer ce qui les cause. Ils ont comparé les deux classificateurs (et bien d'autres) sur 11 problèmes de classification binaire pour 8 mesures de performances différentes.

Comme l'a dit bayerj, il n'y a aucun moyen de savoir a priori!

Les forêts aléatoires sont relativement faciles à calibrer: les paramètres par défaut de la plupart des implémentations (R ou Python, par exemple) donnent d'excellents résultats.

En revanche, les GBM sont difficiles à régler (un trop grand nombre d'arbres conduit à la sur-adaptation, la profondeur maximale est critique, le taux d'apprentissage et le nombre d'arbres agissent ensemble ...) et plus longs à former (les implémentations multithreads sont rares) . Un réglage mal effectué peut entraîner de faibles performances.

Cependant, d'après mon expérience, si vous passez suffisamment de temps sur les GBM, vous obtiendrez probablement de meilleures performances que la forêt aléatoire.

$m$