Une famille d'algorithmes combinant des modèles faiblement prédictifs en un modèle fortement prédictif. L'approche la plus courante est appelée augmentation du gradient, et les modèles faibles les plus couramment utilisés sont les arbres de classification / régression.
Quelles sont les similitudes et les différences entre ces 3 méthodes: Ensachage, Boosting, Empiler? Quel est le meilleur? Et pourquoi? Pouvez-vous me donner un exemple pour
Comme l’a proposé Friedman, l’amélioration des arbres en dégradé utilise des arbres de décision comme apprenants de base. Je me demande si nous devrions rendre l'arbre de décision de base aussi complexe que possible (complètement développé) ou plus simple? Y a-t-il une explication au choix? Random...
J'ai une classe de données déséquilibrées et je veux régler les hyperparamètres du tress renforcé à l'aide de xgboost. Des questions Existe-t-il un équivalent de gridsearchcv ou randomsearchcv pour xgboost? Si non, quelle est l'approche recommandée pour ajuster les paramètres de xgboost?...
Courte définition du boosting : Un ensemble d’apprenants faibles peut-il créer un seul apprenant fort? Un apprenant faible est défini comme un classifieur peu corrélé avec la vraie classification (il peut mieux étiqueter des exemples que des suppositions aléatoires). Définition courte de forêt...
J'essaie de comprendre les différences entre GBM et Adaboost. Ce sont ce que j'ai compris jusqu'à présent: Il existe deux algorithmes de renforcement, qui tirent les leçons des erreurs des modèles précédents et font enfin une somme pondérée des modèles. GBM et Adaboost sont assez similaires sauf...
Lors de l'apprentissage de Gradient Boosting, je n'ai jamais entendu parler de contraintes concernant les propriétés d'un "classificateur faible" que la méthode utilise pour construire et modéliser un modèle. Cependant, je ne pouvais pas imaginer une application de Go utilisant une régression...
Cela fait longtemps que je suis des compétitions Kaggle et je me rends compte que de nombreuses stratégies gagnantes impliquent l’utilisation d’au moins un des «trois grands»: l’ensachage, le boost et l’empilement. Pour les régressions, plutôt que de se concentrer sur la construction d'un meilleur...
Je cherche une explication du calcul de l'importance relative relative des variables dans les arbres à gradient de densité, qui n'est pas trop générale / simpliste, comme: Les mesures sont basées sur le nombre de fois qu'une variable est sélectionnée pour le fractionnement, pondérées par...
Il existe plusieurs implémentations de la famille de modèles GBDT telles que: GBM XGBoost LightGBM Catboost. Quelles sont les différences mathématiques entre ces différentes implémentations? Catboost semble surpasser les autres implémentations même en utilisant uniquement ses paramètres par défaut...
Quelles sont les directives utiles pour tester les paramètres (c.-à-d. La profondeur d'interaction, l'enfant minuscule, la fréquence d'échantillonnage, etc.) à l'aide de GBM? Disons que j'ai 70 à 100 fonctionnalités, une population de 200 000 habitants et j'ai l'intention de tester la profondeur...
J'avais une question sur le paramètre de profondeur d'interaction en gbm dans R. Cela peut être une question noob, pour laquelle je m'excuse, mais comment le paramètre, qui je crois dénote le nombre de nœuds terminaux dans un arbre, indique fondamentalement X-way interaction entre les prédicteurs?...
Voir aussi une question similaire sur stats.SE . En stimulant les algorithmes tels que AdaBoost et LPBoost, il est connu que les apprenants "faibles" à combiner n'ont qu'à mieux performer que la chance d'être utiles, de Wikipedia: Les classificateurs qu'il utilise peuvent être faibles (c'est-à-dire...
À titre d'exemple, prendre la fonction objective du modèle XGBoost sur le « e itération:ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) où est la fonction de perte, est le ième...
Quelle est la façon la plus simple de comprendre le boosting? Pourquoi ne stimule-t-il pas les classificateurs très faibles "à l'infini" (la
J'ai plusieurs questions étroitement liées concernant les apprenants faibles dans l'apprentissage d'ensemble (par exemple, le renforcement). Cela peut sembler stupide, mais quels sont les avantages d'utiliser des apprenants faibles plutôt que des apprenants forts? (par exemple, pourquoi ne pas...
Eh bien récemment, je travaillais sur l'apprentissage d'algorithmes de renforcement, tels que adaboost, gradient boost, et je savais que le plus faible apprenant utilisé était les arbres. Je veux vraiment savoir s'il existe des exemples récents de succès (je veux dire des articles ou des articles)...
Après avoir effectué l'analyse des composants principaux (PCA), je souhaite projeter un nouveau vecteur sur l'espace PCA (c'est-à-dire trouver ses coordonnées dans le système de coordonnées PCA). J'ai calculé PCA en langage R en utilisant prcomp. Maintenant, je devrais pouvoir multiplier mon...
Je lisais le rapport de la solution gagnante d'un concours Kaggle ( Malware Classification ). Le rapport peut être trouvé dans cet article du forum . Le problème était un problème de classification (neuf classes, la métrique était la perte logarithmique) avec 10000 éléments dans le train, 10000...
J'ai lu diverses déclarations (apparemment) contradictoires, que AdaBoost (ou d'autres techniques de boosting) soient ou non sujettes à un sur-ajustement par rapport à d'autres méthodes d'apprentissage. Y a-t-il de bonnes raisons de croire l'un ou l'autre? Si cela dépend, de quoi dépend-il? Quelles...
J'essaie de comprendre comment fonctionne XGBoost. Je comprends déjà comment les arbres boostés par le gradient fonctionnent sur Python sklearn. Ce qui n'est pas clair pour moi, c'est si XGBoost fonctionne de la même manière, mais plus rapidement, ou s'il existe des différences fondamentales entre...