Une forêt aléatoire est une collection d'arbres de décision suivant le concept d'ensachage. Lorsque nous passons d'un arbre de décision à l'arbre de décision suivant, comment les informations apprises par le dernier arbre de décision passent-elles au suivant? Parce que, selon ma compréhension, il...
Un collègue de mon bureau m'a dit aujourd'hui "Les modèles d'arbres ne sont pas bons parce qu'ils sont pris par des observations extrêmes". Une recherche ici a abouti à ce fil qui soutient essentiellement la revendication. Ce qui m'amène à la question - dans quelle situation un modèle CART peut-il...
Je suis assez nouveau dans l'apprentissage automatique, les techniques CART et autres, et j'espère que ma naïveté n'est pas trop évidente. Comment Random Forest gère-t-il les structures de données multi-niveaux / hiérarchiques (par exemple lorsque l'interaction entre niveaux est intéressante)?...
Lors du codage des caractéristiques catégorielles pour la régression linéaire, il existe une règle: le nombre de variables muettes doit être inférieur de un au nombre total de niveaux (pour éviter la colinéarité). Existe-t-il une règle similaire pour les arbres de décision (ensachés, boostés)? Je...
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 5 mois . Existe-t-il une bonne bibliothèque python pour l'entraînement des...
Normalement, nous ne pouvons pas tracer une courbe ROC pour les classificateurs discrets comme les arbres de décision. Ai-je raison? Existe-t-il un moyen de tracer une courbe ROC pour
Je suis curieux de connaître l'implémentation pratique d'une division binaire dans un arbre de décision - en ce qui concerne les niveaux d'un prédicteur catégorique .XjXjX{j} Plus précisément, j'utilise souvent une sorte de schéma d'échantillonnage (par exemple, ensachage, suréchantillonnage, etc.)...
J'ai trouvé de nombreux articles qui indiquent que les méthodes de boosting sont sensibles aux valeurs aberrantes, mais aucun article expliquant pourquoi. D'après mon expérience, les valeurs aberrantes sont mauvaises pour tout algorithme d'apprentissage automatique, mais pourquoi les méthodes de...
Dans cette question - Existe - t-il une méthode pour construire des arbres de décision qui tienne compte des prédicteurs structurés / hiérarchiques / multiniveaux? - ils mentionnent une méthode de données de panel pour les arbres. Existe-t-il des méthodes de données de panneau spécifiques pour...
Quelle est la meilleure fonction de coût pour un arbre forestier aléatoire: indice de Gini ou entropie? J'essaie d'implémenter une forêt aléatoire à
Je pense que c'est une question simple, bien que le raisonnement derrière pourquoi ou pourquoi ne le soit pas. La raison pour laquelle je demande, c'est que j'ai récemment écrit ma propre implémentation d'un RF et bien qu'il fonctionne bien, il ne fonctionne pas aussi bien que prévu (basé sur l'...
Existe-t-il un moyen, une fois qu'un arbre de classification complexe est construit à l'aide de rpart (dans R), d'organiser les règles de décision produites pour chaque classe? Donc, au lieu d'obtenir un énorme arbre, nous obtenons un ensemble de règles pour chacune des classes? (si c'est le cas,...
Quelqu'un peut-il m'expliquer quand utiliser l'impureté Gini et le gain d'informations pour les arbres de décision? Pouvez-vous me donner des situations / des exemples de la meilleure façon de les
Si nous considérons un arbre de décision complet (c'est-à-dire un arbre de décision non élagué), il présente une variance élevée et un faible biais. L'ensachage et les forêts aléatoires utilisent ces modèles à variance élevée et les agrègent afin de réduire la variance et ainsi améliorer la...
Le mgcvpackage pour Ra deux fonctions pour ajuster les interactions des produits tensoriels: te()et ti(). Je comprends la division de base du travail entre les deux (ajustement d'une interaction non linéaire vs décomposition de cette interaction en effets principaux et interaction). Ce que je ne...
Une forêt aléatoire est une collection d' arbres de décision formés en sélectionnant de manière aléatoire uniquement certaines fonctionnalités avec lesquelles construire chaque arbre (et parfois en ensachant les données d'entraînement). Apparemment, ils apprennent et se généralisent bien. Quelqu'un...
Je souhaite implémenter Adaboost à l'aide de Decision Stump. Est-il correct de prendre autant de décisions que les fonctionnalités de notre ensemble de données à chaque itération d'Adaboost? Par exemple, si j'ai un ensemble de données avec 24 fonctionnalités, dois-je avoir 24 classificateur de...
Je suis un peu nouveau dans l'exploration de données et je travaille sur un modèle de classification pour la prévision de la cote des films. J'ai collecté des ensembles de données de l'IMDB et je prévois d'utiliser des arbres de décision et des approches de voisin le plus proche pour mon modèle. Je...
En ce qui concerne les arbres de décision, la valeur prédite peut-elle se situer en dehors de la plage des données de formation? Par exemple, si la plage de l'ensemble de données d'apprentissage de la variable cible est 0-100, lorsque je génère mon modèle et l'applique à autre chose, mes valeurs...
Je travaille avec de grands ensembles de données en utilisant le paquet gbm dans R. Ma matrice de prédicteur et mon vecteur de réponse sont assez clairsemés (c'est-à-dire que la plupart des entrées sont nulles). J'espérais construire des arbres de décision en utilisant un algorithme qui tire parti...