Une famille d'algorithmes combinant des modèles faiblement prédictifs en un modèle fortement prédictif. L'approche la plus courante est appelée amplification de gradient, et les modèles faibles les plus couramment utilisés sont les arbres de classification / régression.
J'essaie de comprendre les différences entre GBM et Adaboost. Ce sont ce que j'ai compris jusqu'à présent: Il existe deux algorithmes de renforcement, qui tirent les leçons des erreurs des modèles précédents et font enfin une somme pondérée des modèles. GBM et Adaboost sont assez similaires sauf...
Quelles sont les raisons théoriques de ne pas gérer les valeurs manquantes? Machines à gradient progressif, les arbres de régression gèrent les valeurs manquantes. Pourquoi Random Forest ne fait-il pas
J'avais une question sur le paramètre de profondeur d'interaction en gbm dans R. Cela peut être une question noob, pour laquelle je m'excuse, mais comment le paramètre, qui je crois dénote le nombre de nœuds terminaux dans un arbre, indique fondamentalement X-way interaction entre les prédicteurs?...
Il est peu probable que cette question aide les futurs visiteurs; il ne s'applique qu'à une petite zone géographique, à un moment précis ou à une situation extraordinairement étroite qui n'est généralement pas applicable au public mondial d'Internet. Pour obtenir de l'aide afin que cette question...
J'essaie de comprendre comment fonctionne XGBoost. Je comprends déjà comment les arbres boostés par le gradient fonctionnent sur Python sklearn. Ce qui n'est pas clair pour moi, c'est si XGBoost fonctionne de la même manière, mais plus rapidement, ou s'il existe des différences fondamentales entre...
J'ai affaire à un problème de classification binaire supervisé. Je voudrais utiliser le package GBM pour classer les individus comme non infectés / infectés. J'ai 15 fois plus de personnes non infectées que de personnes infectées. Je me demandais si les modèles GBM souffraient en cas de tailles de...
J'expérimente l'algorithme de la machine de renforcement de gradient via le caretpackage en R. À l'aide d'un petit ensemble de données d'admission à l'université, j'ai exécuté le code suivant: library(caret) ### Load admissions dataset. ### mydata <-
Je veux savoir si le processus décrit ci-dessous est valide / acceptable et toute justification disponible. L'idée: les algorithmes d'apprentissage supervisé ne supposent pas de structures / distributions sous-jacentes sur les données. À la fin de la journée, ils produisent des estimations...
J'ai ajusté le modèle à l'aide caret, mais j'ai ensuite réexécuté le modèle à l'aide du gbmpackage. Je crois comprendre que le caretpackage utilise gbmet que la sortie doit être la même. Cependant, un simple test rapide utilisant data(iris)montre une différence dans le modèle d'environ 5% en...
Je travaille avec des modèles GBM en utilisant le package caret et cherche à trouver une méthode pour résoudre les intervalles de prédiction pour mes données prédites. J'ai beaucoup cherché, mais je n'ai trouvé que quelques idées pour trouver des intervalles de prédiction pour Random Forest. Tout...
Existe-t-il une stratégie pour choisir le nombre d'arbres dans un GBM? Plus précisément, l' ntreesargument dans Rla gbmfonction de. Je ne vois pas pourquoi vous ne devriez pas définir ntreesla valeur raisonnable la plus élevée. J'ai remarqué qu'un plus grand nombre d'arbres réduit clairement la...
La documentation indique que R gbm avec distribution = "adaboost" peut être utilisé pour un problème de classification 0-1. Considérez le fragment de code suivant: gbm_algorithm <- gbm(y ~ ., data = train_dataset, distribution = "adaboost", n.trees = 5000) gbm_predicted <-...
Est-il possible de tracer un graphique de dépendance partielle pour afficher la probabilité de classe et estimer les effets d'un prédicteur pour un modèle GBM ? Quelque chose de similaire à celui partialPlotdu randomForestpackage. Selon cet article , un tracé partiel est réalisable avec gbm. Merci...
Je me rends compte qu'il y a 3 paramètres de réglage dans le modèle de boosting trees, c'est-à-dire le nombre d'arbres (nombre d'itérations) paramètre de rétrécissement nombre de divisions (taille de chaque arbre constitutif) Ma question est: pour chacun des paramètres de réglage, comment dois-je...
Des questions: Quelle est la différence entre les arbres de régression boostés (BRT) et les modèles boostés généralisés (GBM)? Peuvent-ils être utilisés de manière interchangeable? L'un est-il une forme spécifique de l'autre? Pourquoi Ridgeway a-t-il utilisé l'expression "modèles de régression...
Peut-on généraliser toutes les méthodes d'ensemble en utilisant le vote? Les méthodes de stimulation utilisent-elles également le vote pour amener les apprenants faibles dans le modèle final? Ma compréhension de la technique: Boosting: ajoute continuellement un apprenant faible pour booster les...