Forêt aléatoire vs Adaboost

10

Dans la section 7 de l'article Random Forests (Breiman, 1999), l'auteur énonce la conjecture suivante: "Adaboost est une forêt aléatoire".

Quelqu'un a-t-il prouvé ou réfuté cela? Qu'est-ce qui a été fait pour prouver ou infirmer ce post 1999?

machine-learning random-forest boosting Alex
la source
Veuillez lire stats.stackexchange.com/questions/77018/… Peut-être que vous y trouverez votre réponse
@ user75008 Merci! Ainsi, la section 7 fournit une autre conjecture, telle que si elle est prouvée, montre que adaboost est équivalent à une forêt aléatoire. Quelqu'un a-t-il montré que cette conjecture était vraie?
Alex
@ user75008 Je lis votre lien, stats.stackexchange.com/questions/77018/… , pensez-vous que cela suggère que Adaboost n'est pas équivalent à Random Forest?
Alex

Réponses:

3

Question interessante. Un tas de travaux pour expliquer l'ada boost via quelques tactiques différentes ont été effectués depuis lors.

J'ai fait une recherche bibliographique rapide et cet article quelque peu étrange semble être le plus récent sur le sujet et passe également en revue un tas de travaux intercédants de Brieman et d'autres:

http://arxiv.org/pdf/1212.1108.pdf

Je ne sais pas si leurs résultats sont valables mais ils prétendent n'avoir pas réussi à prouver la conjecture de Brieman mais en avoir prouvé une version affaiblie en affirmant que adaboost est une mesure conservatrice mais pas nécessairement ergodique.

Ils présentent également des preuves empiriques selon lesquelles adaboost est en fait parfois trop adapté.

Je pense que cela suggère que adaboost peut être lié à une forêt aléatoire mais pas entièrement (ou pas toujours) équivalent dans la façon dont Brieman a conjecturé?

Ryan Bressler
la source
merci, donc je suppose que c'est toujours une question ouverte, mais votre dernière déclaration est révélatrice.
Alex
1
Ouais je pense que c'est toujours ouvert. Je pense également que l'intérêt a baissé pour l'analyse d'AdaBoost à mesure que les machines de renforcement de gradient [stochastique] sont devenues plus populaires. AdaBoost est une forme de descente de gradient ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ) et penser en termes de descente de gradient explicitement aléatoire peut être plus intuitif et plus pratique que l'équivalent proposé par Brieman. (C'est-à-dire même si c'était vrai, il pourrait être vraiment difficile de prélever dans la distribution nécessaire dans la pratique.)
Ryan Bressler
Je viens de voir ce nouvel article sur le sujet: arxiv.org/pdf/1504.07676v1.pdf
Ryan Bressler
Très intéressant si vrai! "Nous concluons que le boosting doit être utilisé comme des forêts aléatoires: avec de grands arbres de décision et sans régularisation directe ou arrêt précoce."
Alex