Je souhaite essayer d'utiliser les machines à vecteurs de support (SVM) sur mon jeu de données. Avant d'essayer le problème, j'ai été averti que les SVM ne fonctionnaient pas bien sur des données extrêmement déséquilibrées. Dans mon cas, je peux avoir jusqu'à 95-98% 0 et 2-5% 1. J'ai essayé de...
Je me demandais si quelqu'un pouvait expliquer la différence entre une précision équilibrée qui est b_acc = (sensitivity + specificity)/2 et le score f1 qui est: f1 = 2*precision*recall/(precision + recall)
J'ai un ensemble de données avec quelques millions de lignes et ~ 100 colonnes. Je voudrais détecter environ 1% des exemples dans l'ensemble de données, qui appartiennent à une classe commune. J'ai une contrainte de précision minimale, mais en raison d'un coût très asymétrique, je ne suis pas trop...
SVM gère-t-il un ensemble de données déséquilibré? S'agit-il de paramètres (comme C, ou coût de classification erronée) gérant l'ensemble de données
Tout d'abord, je voudrais décrire quelques dispositions courantes que les livres d'exploration de données utilisent pour expliquer comment traiter les ensembles de données non équilibrés . Habituellement, la section principale est intitulée Ensembles de données non équilibrés et couvre ces deux...
J'essaie d'augmenter le gradient sur un ensemble de données avec un taux d'événements d'environ 1% en utilisant Enterprise Miner, mais il ne parvient à produire aucune sortie. Ma question est, puisqu'il s'agit d'une approche basée sur un arbre de décision, est-il même juste d'utiliser...
PRÉFACE: Je ne me soucie pas des avantages d'utiliser ou non un seuil, ni de la façon de choisir un seuil. Ma question est purement mathématique et due à la curiosité. La régression logistique modélise la probabilité conditionnelle postérieure de la classe A par rapport à la classe B et elle...
J'essaie de résoudre une tâche appelée détection des piétons et j'entraîne le clasifer binaire sur deux catégories positives - personnes, négatives - en arrière-plan. J'ai un ensemble de données: nombre de positifs = 3752 nombre de négatifs = 3800 J'utilise train \ test split 80 \ 20% et...
Je rencontre actuellement des problèmes lors de l'analyse d'un ensemble de données de tweet avec des machines à vecteurs de support. Le problème est que j'ai un ensemble d'entraînement en classe binaire déséquilibré (5: 2); qui devrait être proportionnelle à la distribution réelle des classes. Lors...
J'aimerais que mon modèle formé soit testé sur un ensemble de données déséquilibré. Existe-t-il des algorithmes disponibles pour générer des données synthétiques à partir d'un ensemble de données étiqueté équilibré (spam /
J'essaie de faire un détecteur d'objets qui se produisent très rarement (en images), en prévoyant d'utiliser un classificateur binaire CNN appliqué dans une fenêtre coulissante / redimensionnée. J'ai construit des ensembles d'entraînement et de test positifs / négatifs équilibrés 1: 1 (est-ce une...
Je comprends que la f-mesure (basée sur la précision et le rappel) est une estimation de la précision d'un classificateur. De plus, la mesure f est préférée à la précision lorsque nous avons un ensemble de données déséquilibré. J'ai une question simple (qui concerne plus l'utilisation d'une...
J'exécute une analyse sur la probabilité de défaut de paiement en utilisant une régression logistique et des forêts aléatoires. Lorsque j'utilise la régression logistique, la prédiction est toujours «1» (ce qui signifie un bon prêt). Je n'ai jamais vu cela auparavant et je ne sais pas par où...
Considérons une matrice d'entrée et une sortie binaire .yXXXyyy Une façon courante de mesurer les performances d'un classificateur consiste à utiliser des courbes ROC. Dans un tracé ROC, la diagonale est le résultat qui serait obtenu à partir d'un classificateur aléatoire. En cas de sortie...
J'essaie d'utiliser SMOTE pour corriger le déséquilibre dans mon problème de classification multi-classes. Bien que SMOTE fonctionne parfaitement sur le jeu de données iris conformément au document d'aide SMOTE, il ne fonctionne pas sur un jeu de données similaire. Voici à quoi ressemblent mes...
Je voudrais effectuer une combinaison de suréchantillonnage et de sous-échantillonnage afin d'équilibrer mon ensemble de données avec environ 4000 clients divisés en deux groupes, où l'un des groupes a une proportion d'environ 15%. J'ai examiné SMOTE (
Exemples: J'ai une phrase dans la description de poste: "Java senior engineer in UK". Je veux utiliser un modèle d'apprentissage profond pour le prédire en 2 catégories: English et IT jobs. Si j'utilise un modèle de classification traditionnel, il ne peut prédire qu'une seule étiquette avec...
1) Comment puis-je changer le seuil de classification (je pense que c'est 0,5 par défaut) dans RandomForest dans sklearn? 2) Comment puis-je sous-échantillonner dans Sklearn? 3) J'ai le résultat suivant du classificateur RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class...
J'essaie de construire un modèle de prédiction avec des SVM sur des données assez déséquilibrées. Mes étiquettes / sorties ont trois classes, positive, neutre et négative. Je dirais que l'exemple positif représente environ 10 à 20% de mes données, neutre environ 50 à 60% et négatif environ 30 à...
J'ai étiqueté des données composées de 10000 exemples positifs et 50000 exemples négatifs, ce qui donne un total de 60000 exemples. Évidemment, ces données sont déséquilibrées. Disons maintenant que je veux créer mon ensemble de validation et que je souhaite utiliser 10% de mes données pour le...