L'amplification des arbres à gradient comme proposé par Friedman utilise des arbres de décision avec Jdes nœuds terminaux (= feuilles) comme apprenants de base. Il existe un certain nombre de façons de faire pousser un arbre avec exactement des Jnœuds, par exemple, on peut faire pousser l'arbre en...
J'ai un GLMM du formulaire: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Lorsque j'utilise drop1(model, test="Chi"), j'obtiens des résultats différents de ceux que j'utilise à Anova(model, type="III")partir du package de voiture ou...
Dans de nombreux algorithmes d'apprentissage automatique, la mise à l'échelle des fonctionnalités (aka mise à l'échelle variable, normalisation) est une étape de pré-traitement courante Wikipedia - Mise à l'échelle des fonctionnalités - cette question était proche Question # 41704 - Comment et...
Ceci est juste un exemple que j'ai rencontré plusieurs fois, donc je n'ai pas d'échantillons de données. Exécution d'un modèle de régression linéaire dans R: a.lm = lm(Y ~ x1 + x2) x1est une variable continue. x2est catégorique et a trois valeurs, par exemple "Low", "Medium" et "High". Cependant,...
En faisant des recherches sur l'algorithme xgboost, j'ai parcouru la documentation . Dans cette approche, les arbres sont régularisés en utilisant la définition de la complexité Ω ( f) = γT+12λ∑j = 1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2 où γγ\gamma et...
Je fais mes devoirs sur les arbres de décision, et l'une des questions auxquelles je dois répondre est "Pourquoi les estimateurs sont-ils construits à partir d'arbres biaisés, et comment l'ensachage aide-t-il à réduire leur variance?". Maintenant, je sais que les modèles surajustés ont tendance à...
Cet article affirme que dans CART, car une division binaire est effectuée sur une seule covariable à chaque étape, toutes les divisions sont orthogonales et donc les interactions entre les covariables ne sont pas prises en compte. Cependant, de nombreuses références très sérieuses affirment, au...
Je l' ai utilisé rpart.controlpour minsplit=2, et a obtenu les résultats suivants de la rpart()fonction. Pour éviter de sur-ajuster les données, dois-je utiliser les divisions 3 ou 7? Ne devrais-je pas utiliser le fractionnement 7? S'il vous plaît, faites-moi savoir. Variables réellement utilisées...
Je suis un nouveau venu dans l'analyse de survie, même si j'ai quelques connaissances en classification et régression. Pour la régression, nous avons des statistiques MSE et R au carré. Mais comment pouvons-nous dire que le modèle de survie A est supérieur au modèle de survie B en plus d'une sorte...
Salut, j'étudie les techniques de régression. Mes données ont 15 fonctionnalités et 60 millions d'exemples (tâche de régression). Lorsque j'ai essayé de nombreuses techniques de régression connues (arbre boosté par gradient, régression d'arbre de décision, AdaBoostRegressor, etc.), la régression...
Disons que nous avons un échantillon de deux populations: Aet B. Supposons que ces populations sont constituées d'individus et nous choisissons de décrire les individus en termes de caractéristiques. Certaines de ces caractéristiques sont catégoriques (par exemple, conduisent-elles au travail?) Et...
D'après ce que je comprends, l'argument cp de la rpartfonction aide à pré-élaguer l'arbre de la même manière que les arguments minsplit ou minbucket. Ce que je ne comprends pas, c'est comment les valeurs CP sont calculées. Par exemple df<-data.frame(x=c(1,2,3,3,3,4), y=as.factor(c(TRUE, TRUE,...
Je sais que la rpartfonction de R conserve les données dont elle aurait besoin pour implémenter la division multivariée, mais je ne sais pas si elle effectue réellement des divisions multivariées. J'ai essayé de le rechercher en ligne en consultant les rpartdocuments, mais je ne vois aucune...
Je suis venu par plusieurs articles et documents affirmant que l'élagage des arbres dans un ensemble d'arbres "ensachés" n'était pas nécessaire (voir 1 ). Cependant, est-ce nécessairement (ou du moins dans certains cas connus) dommageable d'effectuer l'élagage (par exemple, avec l'échantillon OOB)...
Existe-t-il une méthode de construction d'arbres de décision qui tienne compte des prédicteurs structurés / hiérarchiques / multiniveaux, qui me permettrait d'imposer des connaissances de domaine ou des contraintes sur les interactions par
Dans ESL , Section 9.7, il y a un paragraphe indiquant que le temps de calcul d'une scission dans la croissance d'un arbre de classification (ou de régression) s'échelonne généralement comme où est le nombre de prédicteurs et est le nombre de échantillons.pNlogNpNlogNp N \log NpppNNN Une approche...
Est-il courant d'avoir une technique de régression différente aux feuilles d'un arbre de régression (par exemple la régression linéaire)? Je le cherche depuis une heure, mais je ne trouve que des implémentations qui ont une valeur constante aux feuilles des arbres. Y a-t-il une raison pour laquelle...
Il est connu que lors de la construction d'un arbre de décision, nous divisons la variable d'entrée de manière exhaustive et trouvons la «meilleure» répartition par approche de test statistique ou approche par fonction d'impureté. Ma question est quand nous utilisons une variable continue comme...
Dans Applied Predictive Modeling de Kuhn et Johnson, les auteurs écrivent: Enfin, ces arbres souffrent d'un biais de sélection: les prédicteurs avec un nombre plus élevé de valeurs distinctes sont favorisés par rapport aux prédicteurs plus granulaires (Loh et Shih, 1997; Carolin et al., 2007; Loh,...
Ma question concerne les arbres de classification . Prenons l'exemple suivant de l'ensemble de données Iris: Je souhaite sélectionner manuellement le meilleur prédicteur pour la première division. Selon l'algorithme CART, la meilleure fonctionnalité pour effectuer un fractionnement est celle qui...