Cet article affirme que dans CART, car une division binaire est effectuée sur une seule covariable à chaque étape, toutes les divisions sont orthogonales et donc les interactions entre les covariables ne sont pas prises en compte. Cependant, de nombreuses références très sérieuses affirment, au...
J'ai un ensemble de données avec une variable continue et une variable cible binaire (0 et 1). Je dois discrétiser les variables continues (pour la régression logistique) par rapport à la variable cible et avec la contrainte que la fréquence d'observation dans chaque intervalle soit équilibrée....
Dans Random Forest, chaque arbre est cultivé en parallèle sur un échantillon boostrap unique des données. Étant donné que chaque échantillon boostrap devrait contenir environ 63% d'observations uniques, cela laisse environ 37% d'observations, qui peuvent être utilisées pour tester l'arbre....
Je suis confronté à un problème lié à la recherche du gradient de la fonction de perte d'entropie croisée par rapport au paramètre où:θθ\theta CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Où, et est une entrée...
Dans l'apprentissage par renforcement, nous avons une fonction de récompense qui informe l'agent de la qualité de ses actions et états actuels. Dans un cadre général, la fonction de récompense est fonction de trois variables: État actuelSSS Action en cours à l'état actuelπ(s)=aπ(s)=a\pi(s) = a...
Des questions: Quelle est la différence entre les arbres de régression boostés (BRT) et les modèles boostés généralisés (GBM)? Peuvent-ils être utilisés de manière interchangeable? L'un est-il une forme spécifique de l'autre? Pourquoi Ridgeway a-t-il utilisé l'expression "modèles de régression...
Selon la documentation de l' objet StandardScaler dans scikit-learn: Par exemple, de nombreux éléments utilisés dans la fonction objective d'un algorithme d'apprentissage (comme le noyau RBF des machines à vecteurs de support ou les régularisateurs L1 et L2 des modèles linéaires) supposent que...
Est-il rationnel (théorique, substantiel, statistique) d'opter pour l' apprentissage automatique ou les modèles de risque lors de la modélisation du taux de désabonnement des clients (ou plus généralement, des
Les réseaux de codage automatique semblent être beaucoup plus délicats que les réseaux MLP classificateurs normaux. Après plusieurs tentatives d'utilisation de la lasagne, tout ce que j'obtiens dans la sortie reconstruite ressemble à son mieux à une moyenne floue de toutes les images de la base de...
Je pensais résoudre le Lasso via des méthodes de premier cycle à la vanille. Mais j'ai lu des gens suggérant d'utiliser la descente du gradient proximal. Quelqu'un peut-il souligner pourquoi la méthode proximale GD au lieu de la vanille est utilisée pour le
Je suis un peu perplexe par une formule présentée dans "Introduction à l'apprentissage statistique" de Hastie. Au chapitre 6, page 212 (sixième impression, disponible ici ), il est indiqué que: AIC=RSSnσ^2+2dnAIC=RSSnσ^2+2dnAIC = \frac{RSS}{n\hat\sigma^2} + \frac{2d}{n} Pour les modèles linéaires...
Je suppose une configuration générale de régression, c'est-à-dire qu'une fonction continue est choisie dans une famille pour s'adapter aux données données ( peut être n'importe quel espace tel que cube ou en fait tout espace topologique raisonnable) selon certains critères naturels.hθ: X→...
Après avoir lu de nombreux articles d'apprentissage en profondeur, une sorte de sentiment brutal est qu'il existe de nombreuses astuces pour entraîner le réseau à obtenir des performances supérieures à la normale. Du point de vue des applications de l'industrie, il est très difficile de développer...
Le coefficient de corrélation de Matthews ( ) est une mesure pour mesurer la qualité d'une classification binaire ([Wikipedia] [1]). formulation est donnée pour la classification binaire utilisant les valeurs de vrais positifs ( ), de faux positifs ( ), de faux négatifs ( ) et de vrais négatifs ( )...
Selon "Efficient Backprop" de LeCun et al (1998), il est de bonne pratique de normaliser toutes les entrées afin qu'elles soient centrées autour de 0 et se situent dans la plage de la dérivée seconde maximale. Ainsi, par exemple, nous utiliserions [-0,5,0,5] pour la fonction "Tanh". C'est pour...
Supposons que je veuille former un réseau neuronal profond pour effectuer une classification ou une régression, mais je veux savoir dans quelle mesure la prédiction sera sûre. Comment pourrais-je y parvenir? Mon idée est de calculer l'entropie croisée pour chaque donnée d'entraînement, sur la base...
J'apprends l'apprentissage en profondeur (en particulier les CNN) et comment cela nécessite généralement énormément de données pour éviter le surapprentissage. Cependant, on m'a également dit que plus la capacité / le nombre de paramètres d'un modèle est élevé, plus il faut de données pour éviter...
Contexte: J'utilise l'approximation de la valeur Q du réseau neuronal dans ma tâche d'apprentissage par renforcement. L'approche est exactement la même que celle décrite dans cette question , mais la question elle-même est différente. Dans cette approche, le nombre de sorties est le nombre...
J'ai toujours souscrit à la sagesse populaire selon laquelle la diminution du taux d'apprentissage dans un gbm (modèle d'arbre boosté par gradient) ne nuit pas aux performances hors échantillon du modèle. Aujourd'hui, je n'en suis pas si sûr. J'ajuste des modèles (minimisant la somme des erreurs...
Je sais comment implémenter une fonction objectif linéaire et des boosts linéaires dans XGBoost. Ma question concrète est la suivante: lorsque l'algorithme correspond au résiduel (ou au gradient négatif), utilise-t-il une caractéristique à chaque étape (c.-à-d. Modèle univarié) ou toutes les...