Ma configuration est la suivante: Je suis les directives dans "Modélisation prédictive appliquée". J'ai donc filtré les fonctionnalités corrélées et je me retrouve avec ce qui suit: 4900 points de données dans l'ensemble d'apprentissage et 1600 points de données dans l'ensemble de test. J'ai 26...
Le paramètre de taux d'apprentissage ( ) dans Gradient Boosting réduit la contribution de chaque nouveau modèle de base - généralement un arbre peu profond - qui est ajouté dans la série. Il s'est avéré augmenter considérablement la précision de l'ensemble de test, ce qui est compréhensible car...
Dans les manuels et les conférences sur YouTube, j'ai beaucoup appris sur les modèles itératifs tels que le boost, mais je n'ai jamais rien vu sur la dérivation d'un intervalle de prédiction. La validation croisée est utilisée pour les éléments suivants: Sélection des modèles: essayez différents...
J'ai lu l'article d'Alexandru Niculescu-Mizil et Rich Caruana " Obtention de probabilités calibrées à partir du boost " et la discussion dans ce fil. Cependant, j'ai toujours du mal à comprendre et à implémenter la logistique ou la mise à l' échelle de Platt pour calibrer la sortie de mon...
Le moignon de décision est un arbre de décision avec une seule division. Il peut également être écrit comme une fonction par morceaux. Par exemple, supposons que xxx est un vecteur, et x1x1x_1 est le premier composant de , dans le cadre de la régression, un moignon de décision peut êtrexxx...
La question J'ai du mal à comprendre comment la prédiction est maintenue dans l' intervalle lorsque je fais une classification binaire avec Gradient Boosting.[0,1][0,1][0,1] Supposons que nous travaillons sur un problème de classification binaire, et notre fonction objective est la perte de log, ,...
Il existe de nombreux articles de blog, vidéos YouTube, etc. sur les idées d' ensachage ou de renforcement des arbres. Ma compréhension générale est que le pseudo-code pour chacun est: Ensachage: Prélever N échantillons aléatoires de x% des échantillons et y% des fonctionnalités Ajustez votre...
En général, dans un problème de classification où le but est de prédire avec précision l'appartenance à une classe hors échantillon, quand ne devrais-je pas utiliser un classificateur d'ensemble? Cette question est étroitement liée à Pourquoi ne pas toujours utiliser l'apprentissage d'ensemble? ....
La machine de boosting de gradient de Friedman peut -elle obtenir de meilleures performances que la forêt aléatoire de Breiman ? Si oui, dans quelles conditions ou quel type de jeu de données peut-il améliorer
J'ai affaire à un problème de classification binaire supervisé. Je voudrais utiliser le package GBM pour classer les individus comme non infectés / infectés. J'ai 15 fois plus de personnes non infectées que de personnes infectées. Je me demandais si les modèles GBM souffraient en cas de tailles de...
J'expérimente l'algorithme de la machine de renforcement de gradient via le caretpackage en R. À l'aide d'un petit ensemble de données d'admission à l'université, j'ai exécuté le code suivant: library(caret) ### Load admissions dataset. ### mydata <-
En fait, je pensais avoir compris ce que l'on peut montrer un complot avec dépendance partielle, mais en utilisant un exemple hypothétique très simple, je suis devenu plutôt perplexe. Dans le morceau de code suivant, je génère trois variables indépendantes ( a , b , c ) et une variable dépendante (...
J'essaie d'augmenter le gradient sur un ensemble de données avec un taux d'événements d'environ 1% en utilisant Enterprise Miner, mais il ne parvient à produire aucune sortie. Ma question est, puisqu'il s'agit d'une approche basée sur un arbre de décision, est-il même juste d'utiliser...
Pour booster les algorithmes, je dirais qu'ils ont assez bien évolué. Au début de 1995, AdaBoost a été introduit, puis après un certain temps, c'était Gradient Boosting Machine (GBM). Récemment, vers 2015, XGBoost a été introduit, ce qui est précis, gère le sur-ajustement et est devenu un gagnant...
Comme j'ai entendu parler du classificateur AdaBoost à plusieurs reprises au travail, je voulais avoir une meilleure idée de son fonctionnement et du moment où on pourrait l'utiliser. Je suis allé de l'avant et j'ai lu un certain nombre d'articles et de didacticiels que j'ai trouvés sur Google,...
Il existe une variante de boosting appelée softboost . En quoi la stimulation douce diffère-t-elle du AdaBoost plus connu
En lisant l'excellente modélisation statistique: Les deux cultures (Breiman 2001) , nous pouvons saisir toute la différence entre les modèles statistiques traditionnels (par exemple, la régression linéaire) et les algorithmes d'apprentissage automatique (par exemple, Bagging, Random Forest, Boosted...
Il me semble que l'apprentissage d'ensemble donnera toujours de meilleures performances prédictives qu'avec une seule hypothèse d'apprentissage. Alors, pourquoi ne les utilisons-nous pas tout le temps? Je suppose que c'est peut-être à cause de limitations informatiques? (même alors, nous utilisons...
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 5 mois . Existe-t-il une bonne bibliothèque python pour l'entraînement des...
Lors du codage des caractéristiques catégorielles pour la régression linéaire, il existe une règle: le nombre de variables muettes doit être inférieur de un au nombre total de niveaux (pour éviter la colinéarité). Existe-t-il une règle similaire pour les arbres de décision (ensachés, boostés)? Je...