Random Forest ne peut pas suréquiper?

La forêt aléatoire peut être surchargée. Je suis sûr de cela. Ce que l'on veut généralement dire, c'est que le modèle ne s'adapterait pas si vous utilisez plus d'arbres.

Essayez par exemple d'estimer le modèle avec une forêt aléatoire. Vous obtiendrez une erreur d'entraînement presque nulle mais une mauvaise erreur de prédiction $y = log(x) + \epsilon$

Donbeo
la source

Random Forest réduit principalement la variance, comment peut-elle surajouter? @Donbeo pourrait-il être peut-être parce que les modèles d'arbre de décision ne fonctionnent pas bien sur l'extrapolation. Disons que, pour une variable prédictive anormale, DT pourrait donner une mauvaise prédiction.

Itachi

Une indication claire du sur-ajustement est que la variance résiduelle est trop réduite . Qu'essayez-vous donc d'impliquer avec votre première remarque?

whuber

Dans le compromis biais-variance, lorsque nous essayons de réduire le biais, nous compensons la variance. Tels que, si x = 80 donne y = 100, mais x = 81 donne y = -100. Ce serait exagéré . N'est pas Ovefitting similaire à pour avoir une variance élevée. @whuber, j'ai supposé que le suraménagement n'est dû qu'à une variance élevée. Je ne comprends pas comment la réduction de la variance résiduelle entraîne un sur-ajustement. Pouvez-vous s'il vous plaît partager du papier pour que je puisse continuer à lire.

Itachi

x_{i} = 1, 2, \dots, 10

$x_i=1,2,\ldots,10$

y_{i}

$y_i$

y = β_{0} + β_{1} x + β_{2} x^{2} + \dots + β_{k} x^{k}

$y=\beta_0+\beta_1 x+\beta_2 x^2 + \cdots + \beta_k x^k$

k = 0, 1, \dots, 9

$k=0, 1, \ldots, 9$

@whuber Je pense que vous manquez le point sur ce qu'est la "réduction de variance". La forêt aléatoire (et l'ensachage en général) ne réduisent pas la variance des résidus, mais la variance de vos prédictions. Donc, dans votre exemple, chaque étape dont vous parlez augmente l'écart :)

Davide ND

Random Forest ne peut pas suréquiper?

Réponses: