«Arbres de classification et de régression». CART est une technique d'apprentissage automatique populaire, et elle constitue la base de techniques telles que les forêts aléatoires et les implémentations courantes des machines de renforcement de gradient.
Les forêts aléatoires sont considérées comme des boîtes noires, mais récemment, je pensais quelles connaissances peuvent être obtenues à partir d'une forêt aléatoire. La chose la plus évidente est l’importance des variables, dans la variante la plus simple, il suffit de calculer le nombre...
Comme l’a proposé Friedman, l’amélioration des arbres en dégradé utilise des arbres de décision comme apprenants de base. Je me demande si nous devrions rendre l'arbre de décision de base aussi complexe que possible (complètement développé) ou plus simple? Y a-t-il une explication au choix? Random...
Quelqu'un peut-il expliquer les principales différences entre les arbres d'inférence conditionnels ( ctreedu partypaquet dans R) par rapport aux algorithmes d'arbre de décision plus traditionnels (comme rpartdans R)? Qu'est-ce qui différencie les arbres en CI? Forces et faiblesses? Mise à jour:...
Je commence à me familiariser avec l’utilisation de glmnetavec LASSO Regression, où mon résultat d’intérêt est dichotomique. J'ai créé un petit cadre de données fictif ci-dessous: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99,...
Mes questions concernent les forêts aléatoires. Le concept de ce beau classificateur est clair pour moi, mais il reste encore beaucoup de questions pratiques d'utilisation. Malheureusement, je n’ai trouvé aucun guide pratique sur la RF (j’ai cherché quelque chose comme "Un guide pratique pour la...
Tout le monde a des suggestions de code ou de bibliothèque sur la manière de tracer réellement quelques échantillons d’arbres de: getTree(rfobj, k, labelVar=TRUE) (Oui, je sais que vous n’êtes pas censé le faire de manière opérationnelle, RF est une boîte noire, etc., etc. comment bien mes facteurs...
Qu'est-ce que la "déviance", comment est-elle calculée et quelles sont ses utilisations dans différents domaines de la statistique? En particulier, je suis personnellement intéressé par ses utilisations dans CART (et sa mise en œuvre dans rpart in R). Je pose cette question car l' article du wiki...
Je suis novice dans l'exploration de données et j'essaie de former un arbre de décision par rapport à un ensemble de données extrêmement déséquilibré. Cependant, j'ai des problèmes avec une faible précision prédictive. Les données comprennent les étudiants qui étudient les cours, et la variable de...
Dans Une introduction à l'apprentissage statistique avec applications en R , les auteurs écrivent que l'ajustement d'un arbre de décision est très rapide, mais cela n'a aucun sens pour moi. L'algorithme doit passer en revue toutes les fonctionnalités et les partitionner de toutes les manières...
Je reçois une précision de 100% pour mon arbre de décision. Qu'est-ce que je fais mal? Ceci est mon code: import pandas as pd import json import numpy as np import sklearn import matplotlib.pyplot as plt data = np.loadtxt("/Users/Nadjla/Downloads/allInteractionsnum.csv", delimiter=',') x =...
Les arbres de décision semblent être une méthode d’apprentissage automatique très compréhensible. Une fois créé, il peut être facilement inspecté par un humain, ce qui constitue un avantage considérable pour certaines applications. Quels sont les inconvénients pratiques des arbres de...
Je cherche une explication du calcul de l'importance relative relative des variables dans les arbres à gradient de densité, qui n'est pas trop générale / simpliste, comme: Les mesures sont basées sur le nombre de fois qu'une variable est sélectionnée pour le fractionnement, pondérées par...
J'ai lu dans quelques sources, y compris celle-ci , que les forêts aléatoires ne sont pas sensibles aux valeurs aberrantes (par exemple, la régression logistique et les autres méthodes ML). Cependant, deux morceaux d'intuition me disent le contraire: Chaque fois qu'un arbre de décision est...
Quelles sont les directives utiles pour tester les paramètres (c.-à-d. La profondeur d'interaction, l'enfant minuscule, la fréquence d'échantillonnage, etc.) à l'aide de GBM? Disons que j'ai 70 à 100 fonctionnalités, une population de 200 000 habitants et j'ai l'intention de tester la profondeur...
Lors de la construction d'un modèle CART (spécifiquement l'arbre de classification) à l'aide de rpart (dans R), il est souvent intéressant de savoir quelle est l'importance des différentes variables introduites dans le modèle. Ainsi, ma question est: Quelles sont les mesures communes existantes...
J'essaie de retracer qui a inventé la structure et l'algorithme des données de l'arbre de décision. Dans l'article de Wikipédia sur l' apprentissage de l'arbre de décision, il est affirmé que "ID3 et CART ont été inventés indépendamment à la même époque (entre 1970 et 1980)". ID3 a été présenté...
Je recherche une alternative aux arbres de classification qui pourrait donner un meilleur pouvoir prédictif. Les données dont je traite ont des facteurs à la fois pour les variables explicatives et expliquées. Je me souviens avoir rencontré des forêts aléatoires et des réseaux de neurones dans ce...
J'exécute une classification d'arbre de décision en utilisant SPSS sur un ensemble de données avec environ 20 prédicteurs (catégorique avec quelques catégories). CHAID (Détection automatique d'interaction chi carré) et CRT / CART (Arbres de classification et de régression) me donnent des arbres...
Presque chaque exemple d'arbre de décision que j'ai rencontré se trouve être un arbre binaire. Est-ce à peu près universel? La plupart des algorithmes standard (C4.5, CART, etc.) prennent-ils uniquement en charge les arbres binaires? D'après ce que je comprends, CHAID n'est pas limité aux arbres...
Après avoir effectué l'analyse des composants principaux (PCA), je souhaite projeter un nouveau vecteur sur l'espace PCA (c'est-à-dire trouver ses coordonnées dans le système de coordonnées PCA). J'ai calculé PCA en langage R en utilisant prcomp. Maintenant, je devrais pouvoir multiplier mon...