Pourquoi ne pas toujours utiliser l'apprentissage d'ensemble?

13

Il me semble que l'apprentissage d'ensemble donnera toujours de meilleures performances prédictives qu'avec une seule hypothèse d'apprentissage.

Alors, pourquoi ne les utilisons-nous pas tout le temps?

Je suppose que c'est peut-être à cause de limitations informatiques? (même alors, nous utilisons des prédicteurs faibles, donc je ne sais pas).

jpmuc
la source
2
Parce que l'apprentissage d'ensemble ne donne pas toujours de meilleures performances. L'ensachage et le renforcement fonctionnent dans certains cas, mais peuvent gravement dégrader les performances dans d'autres.
Marc Claesen

Réponses:

12

En général, il n'est pas vrai qu'il fonctionnera toujours mieux. Il existe plusieurs méthodes d'ensemble, chacune ayant ses propres avantages / faiblesses. Lequel utiliser et dépend ensuite du problème à résoudre.

Par exemple, si vous avez des modèles à forte variance (ils surajustent vos données), vous tirerez probablement parti de l'utilisation de l'ensachage. Si vous avez des modèles biaisés, il est préférable de les combiner avec Boosting. Il existe également différentes stratégies pour former des ensembles. Le sujet est tout simplement trop large pour le couvrir en une seule réponse.

Mais mon point est: si vous utilisez la mauvaise méthode d' ensemble pour votre établissement, vous n'allez faire mieux. Par exemple, utiliser Bagging avec un modèle biaisé ne va pas aider.

De plus, si vous devez travailler dans un environnement probabiliste, les méthodes d'ensemble peuvent ne pas fonctionner non plus. Il est connu que Boosting (dans ses formes les plus populaires comme AdaBoost) fournit des estimations de probabilité médiocres. Autrement dit, si vous souhaitez avoir un modèle qui vous permet de raisonner sur vos données, pas seulement sur la classification, vous pourriez être mieux avec un modèle graphique.

jpmuc
la source
Un moignon de décision est biaisé, mais ils ont été utilisés avec succès avec l'ensachage.
oui, mais l'ensemble est toujours biaisé. Et si le biais est vraiment un problème?. L'ensachage n'aidera pas à le réparer. Pourriez-vous ajouter une référence au cas que vous mentionnez?
jpmuc