Les données organisées en catégories discrètes ou * classes * peuvent poser des problèmes pour certaines analyses si le nombre d'observations ( n n ) appartenant à chaque classe n'est pas constante d'une classe à l'autre. Les classes avec inégal sont * déséquilibrées *. n n
Bon, je pense donc avoir un échantillon assez décent, en tenant compte de la règle empirique de 20: 1: un échantillon assez volumineux (N = 374) pour un total de 7 variables prédictives candidates. Mon problème est le suivant: quel que soit le jeu de variables de prédiction que j'utilise, les...
Nous avions déjà plusieurs questions sur les données déséquilibrées lors de l'utilisation de la régression logistique , de la SVM , des arbres de décision , de la mise en sac et de plusieurs autres questions similaires, ce qui en fait un sujet très populaire! Malheureusement, chacune des questions...
J'ai un ensemble de données sous la forme de (fonctionnalités, sortie binaire 0 ou 1), mais 1 arrive assez rarement, donc juste en prédisant toujours 0, j'obtiens une précision comprise entre 70% et 90% (en fonction des données que je regarde) ). Les méthodes ML me donnent à peu près la même...
C'est une question en général, non spécifique à une méthode ou à un ensemble de données. Comment traiter un problème de déséquilibre de classe dans l'apprentissage automatique supervisé, où le nombre de 0 est d'environ 90% et le nombre de 1 d'environ 10% dans votre jeu de données. Comment former de...
Je suis novice dans l'exploration de données et j'essaie de former un arbre de décision par rapport à un ensemble de données extrêmement déséquilibré. Cependant, j'ai des problèmes avec une faible précision prédictive. Les données comprennent les étudiants qui étudient les cours, et la variable de...
Si j'ai un ensemble de données avec une classe positive très rare et que je sous-échantillonne la classe négative, puis effectuer une régression logistique, dois-je ajuster les coefficients de régression pour refléter le fait que j'ai modifié la prévalence de la classe positive? Par exemple,...
J'ai beaucoup réfléchi au «problème de déséquilibre de classe» dans l'apprentissage machine / statistique ces derniers temps, et j'approfondis de plus en plus le sentiment que je ne comprends tout simplement pas ce qui se passe. Permettez-moi d'abord de définir (ou d'essayer de) définir mes termes:...
J'ai une tâche de classification où j'ai un certain nombre de prédicteurs (dont l'un est le plus informatif), et j'utilise le modèle MARS pour construire mon classificateur (je suis intéressé par n'importe quel modèle simple, et utiliser glms à des fins d'illustration serait bien aussi)....
J'ai suivi un cours en ligne, où j'ai appris, que des classes déséquilibrées dans les données de formation pouvaient entraîner des problèmes, car les algorithmes de classification optent pour la règle de la majorité, car cela donne de bons résultats si le déséquilibre est trop important. Dans une...
Je veux faire un modèle logistique à partir de mes données d'enquête. Il s'agit d'une petite enquête sur quatre colonies résidentielles dans laquelle seulement 154 répondants ont été interrogés. Ma variable dépendante est «transition satisfaisante vers le travail». J'ai constaté que, sur les 154...
J'ai un ensemble de données très déséquilibré. J'essaie de suivre les conseils de réglage et d'utilisation, scale_pos_weightmais je ne sais pas comment dois-je le régler. Je peux voir que cela RegLossObj.GetGradientfait: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight donc un gradient d'un...
Dans une question récente et bien reçue, Tim demande quand les données non équilibrées sont-elles vraiment un problème dans le Machine Learning ? La prémisse de la question est qu'il y a beaucoup de littérature d'apprentissage automatique discutant de l'équilibre des classes et du problème des...
Je pense qu'une hypothèse de base de l'apprentissage automatique ou de l'estimation des paramètres est que les données invisibles proviennent de la même distribution que l'ensemble d'apprentissage. Cependant, dans certains cas pratiques, la distribution de l'ensemble de test sera presque différente...
Il y a eu de bonnes questions sur le traitement des données déséquilibrées dans le contexte de la classification , mais je me demande ce que les gens font pour échantillonner pour la régression. Supposons que le domaine problématique soit très sensible au signe, mais seulement quelque peu sensible...
Je fais face à un problème de détection de fraude (de type notation de crédit). En tant que tel, il existe une relation très déséquilibrée entre les observations frauduleuses et non frauduleuses. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html fournit un excellent aperçu...
Je veux modéliser une régression logistique avec des données déséquilibrées (9: 1). Je voulais essayer l'option de poids dans la glmfonction dans R, mais je ne suis pas sûr à 100% de ce qu'elle fait. Disons que ma variable de sortie est c(0,0,0,0,0,0,0,0,0,1). maintenant je veux donner au "1" 10...
Ai-je raison de comprendre que l'ordre dans lequel les variables sont spécifiées dans une ANOVA multifactorielle fait une différence mais que l'ordre n'a pas d'importance lors d'une régression linéaire multiple? Donc, en supposant un résultat tel que la perte de sang mesurée y et deux variables...
Je travaille sur des données gravement déséquilibrées. Dans la littérature, plusieurs méthodes sont utilisées pour rééquilibrer les données en utilisant un rééchantillonnage (sur ou sous-échantillonnage). Deux bonnes approches sont: SMOTE: TEchnique de suréchantillonnage des minorités synthétiques...
Je viens de terminer la lecture de cette discussion. Ils soutiennent que PR AUC est meilleure que ROC AUC sur un ensemble de données déséquilibré. Par exemple, nous avons 10 échantillons dans l'ensemble de données de test. 9 échantillons sont positifs et 1 négatif. Nous avons un modèle terrible qui...
J'ai affaire à un problème de classification binaire supervisé. Je voudrais utiliser le package GBM pour classer les individus comme non infectés / infectés. J'ai 15 fois plus de personnes non infectées que de personnes infectées. Je me demandais si les modèles GBM souffraient en cas de tailles de...