Je voudrais poser une question liée à celle-ci . J'ai trouvé un exemple d'écriture d'une fonction de perte personnalisée pour xgboost ici : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <-...
En découvrant l'apprentissage automatique, je vois différentes techniques intéressantes telles que: régler automatiquement les algorithmes avec des techniques telles que grid search, obtenir des résultats plus précis grâce à la combinaison de différents algorithmes du même "type", c'est-à-dire...
J'ai essayé de comprendre le renforcement du gradient en lisant divers blogs et sites Web et en essayant de trouver ma réponse en parcourant par exemple le code source XGBoost. Cependant, je n'arrive pas à trouver une explication compréhensible de la façon dont les algorithmes de renforcement de...
J'ai trouvé de nombreux articles qui indiquent que les méthodes de boosting sont sensibles aux valeurs aberrantes, mais aucun article expliquant pourquoi. D'après mon expérience, les valeurs aberrantes sont mauvaises pour tout algorithme d'apprentissage automatique, mais pourquoi les méthodes de...
Je souhaite implémenter Adaboost à l'aide de Decision Stump. Est-il correct de prendre autant de décisions que les fonctionnalités de notre ensemble de données à chaque itération d'Adaboost? Par exemple, si j'ai un ensemble de données avec 24 fonctionnalités, dois-je avoir 24 classificateur de...
C'est la fonction de perte de déviance binomiale de scikit GradientBoosting, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y *...
Existe-t-il un moyen d'obtenir un score de confiance (on peut également l'appeler valeur de confiance ou probabilité) pour chaque valeur prédite lors de l'utilisation d'algorithmes comme Random Forests ou Extreme Gradient Boosting (XGBoost)? Supposons que ce score de confiance varie de 0 à 1 et...
Je sais qu'Adaboost essaie de générer un classificateur fort en utilisant une combinaison linéaire d'un ensemble de classificateurs faibles. Cependant, j'ai lu certains articles suggérant qu'Adaboost et les SVM fonctionnent en harmonie (même si SVM est un classificateur puissant) dans certaines...
J'ai lu un peu sur le renforcement des algorithmes pour les tâches de classification et Adaboost en particulier. Je comprends que le but d'Adaboost est de prendre plusieurs "apprenants faibles" et, à travers un ensemble d'itérations sur les données de formation, de pousser les classificateurs à...
Pour un exemple simple, supposons qu'il existe deux modèles de régression linéaire Modèle 1 a trois prédicteurs, x1a, x2betx2c Le modèle 2 a trois prédicteurs du modèle 1 et deux prédicteurs supplémentaires x2aetx2b Il existe une équation de régression de la population où la variance de la...
Dans la section 7 de l'article Random Forests (Breiman, 1999), l'auteur énonce la conjecture suivante: "Adaboost est une forêt aléatoire". Quelqu'un a-t-il prouvé ou réfuté cela? Qu'est-ce qui a été fait pour prouver ou infirmer ce post
L'amplification des arbres à gradient comme proposé par Friedman utilise des arbres de décision avec Jdes nœuds terminaux (= feuilles) comme apprenants de base. Il existe un certain nombre de façons de faire pousser un arbre avec exactement des Jnœuds, par exemple, on peut faire pousser l'arbre en...
En faisant des recherches sur l'algorithme xgboost, j'ai parcouru la documentation . Dans cette approche, les arbres sont régularisés en utilisant la définition de la complexité Ω ( f) = γT+12λ∑j = 1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2 où γγ\gamma et...
Dans Random Forest, chaque arbre est cultivé en parallèle sur un échantillon boostrap unique des données. Étant donné que chaque échantillon boostrap devrait contenir environ 63% d'observations uniques, cela laisse environ 37% d'observations, qui peuvent être utilisées pour tester l'arbre....
Je sais comment implémenter une fonction objectif linéaire et des boosts linéaires dans XGBoost. Ma question concrète est la suivante: lorsque l'algorithme correspond au résiduel (ou au gradient négatif), utilise-t-il une caractéristique à chaque étape (c.-à-d. Modèle univarié) ou toutes les...
J'ai toujours souscrit à la sagesse populaire selon laquelle la diminution du taux d'apprentissage dans un gbm (modèle d'arbre boosté par gradient) ne nuit pas aux performances hors échantillon du modèle. Aujourd'hui, je n'en suis pas si sûr. J'ajuste des modèles (minimisant la somme des erreurs...
Supposons que j'ai un échantillon de fréquences de 4 événements possibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 et j'ai les probabilités attendues que mes événements se produisent: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Avec la somme des fréquences observées de mes quatre événements (18), je peux calculer...
Je me rends compte qu'il y a 3 paramètres de réglage dans le modèle de boosting trees, c'est-à-dire le nombre d'arbres (nombre d'itérations) paramètre de rétrécissement nombre de divisions (taille de chaque arbre constitutif) Ma question est: pour chacun des paramètres de réglage, comment dois-je...
Des questions: Quelle est la différence entre les arbres de régression boostés (BRT) et les modèles boostés généralisés (GBM)? Peuvent-ils être utilisés de manière interchangeable? L'un est-il une forme spécifique de l'autre? Pourquoi Ridgeway a-t-il utilisé l'expression "modèles de régression...
Peut-on généraliser toutes les méthodes d'ensemble en utilisant le vote? Les méthodes de stimulation utilisent-elles également le vote pour amener les apprenants faibles dans le modèle final? Ma compréhension de la technique: Boosting: ajoute continuellement un apprenant faible pour booster les...