Je travaille avec des données déséquilibrées, où il y a environ 40 cas class = 0 pour chaque classe = 1. Je peux raisonnablement faire la distinction entre les classes en utilisant des fonctionnalités individuelles, et la formation d'un classificateur naïf Bayes et SVM sur 6 fonctionnalités et des...
Je rencontre actuellement des problèmes lors de l'analyse d'un ensemble de données de tweet avec des machines à vecteurs de support. Le problème est que j'ai un ensemble d'entraînement en classe binaire déséquilibré (5: 2); qui devrait être proportionnelle à la distribution réelle des classes. Lors...
J'ai un problème de classification binaire et j'expérimente différents classificateurs dessus: je veux comparer les classificateurs. lequel est une meilleure mesure de l'ASC ou de la précision? Et pourquoi? Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %...
Je travaille sur un problème de classification de série chronologique où l'entrée est des données d'utilisation vocale de série chronologique (en secondes) pour les 21 premiers jours d'un compte de téléphone portable. La variable cible correspondante est de savoir si ce compte a été annulé dans la...
La méthode que je connais pour construire une forêt aléatoire est la suivante: (à partir de http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ) Pour construire un arbre dans la forêt, nous: Bootstrap un échantillon de taille N où N est la taille de notre ensemble d'entraînement....
J'ai effectué une classification en utilisant plusieurs classificateurs pour des données étiquetées à 2 classes, et j'ai utilisé une validation croisée 5 fois. Pour chaque pli, j'ai calculé tp, tn, fp et fn. Ensuite, j'ai calculé l'exactitude, la précision, le rappel et le score F pour chaque test....
Disons que j'ai un ensemble d'instances avec des étiquettes de classe associées. Peu importe comment ces instances ont été étiquetées, mais la certitude de leur appartenance à la classe. Chaque instance appartient à exactement une classe. Disons que je peux quantifier la certitude de chaque...
Le test d'hypothèse s'apparente à un problème de classification. Disons que nous avons 2 étiquettes possibles pour une observation (sujet) - Coupable vs Non coupable. Que l'hypothèse non coupable soit nulle. Si nous considérions le problème du point de vue de la classification, nous formerions un...
J'ai exécuté PCA sur 17 variables quantitatives afin d'obtenir un plus petit ensemble de variables, c'est-à-dire les principaux composants, à utiliser dans l'apprentissage automatique supervisé pour classer les instances en deux classes. Après PCA, PC1 représente 31% de la variance des données, PC2...
Je travaille sur un problème de classification qui calcule une métrique de similitude entre deux images radiographiques d'entrée. Si les images sont de la même personne (étiquette de «droite»), une métrique plus élevée sera calculée; les images d'entrée de deux personnes différentes (étiquette de...
J'ai 100 000 observations (9 variables indicatrices factices) avec 1000 positifs. La régression logistique devrait bien fonctionner dans ce cas, mais la probabilité de coupure me laisse perplexe. Dans la littérature courante, nous choisissons un seuil de 50% pour prédire les 1 et les 0. Je ne peux...
Je travaille sur le développement d'un modèle prédictif des risques d'assurance. Ces modèles sont des «événements rares» comme la prévision de non-présentation des compagnies aériennes, la détection de pannes matérielles, etc. Pendant que je préparais mon ensemble de données, j'essayais d'appliquer...
Supposons que je veuille apprendre un classificateur qui prend un vecteur de nombres en entrée et donne une étiquette de classe en sortie. Mes données d'entraînement se composent d'un grand nombre de paires d'entrée-sortie. Cependant, lorsque je viens de tester certaines nouvelles données, ces...
Je comprends que la f-mesure (basée sur la précision et le rappel) est une estimation de la précision d'un classificateur. De plus, la mesure f est préférée à la précision lorsque nous avons un ensemble de données déséquilibré. J'ai une question simple (qui concerne plus l'utilisation d'une...
Selon certains articles que je lis, la distance de Jeffries et Matusita est couramment utilisée. Mais je n'ai pas trouvé beaucoup d'informations à ce sujet, sauf pour la formule ci-dessous JMD (x, y) =∑(xi−−√2−yi−−√2)2−−−−−−−−−−−−−√2∑(xi2−yi2)22\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2} Elle est...
J'ai une liste de mots, appartenant à différentes catégories auto-définies. Chaque catégorie a son propre motif (par exemple une a une longueur fixe avec des caractères spéciaux, une autre existe de caractères qui n'apparaissent que dans cette catégorie de "mot", ...). Par exemple: "ABC" ->...
Parce que j'ai un ensemble de données très déséquilibré (9% de résultats positifs), j'ai décidé qu'une courbe de rappel de précision était plus appropriée qu'une courbe ROC. J'ai obtenu la mesure sommaire analogue de l'aire sous la courbe PR (.49, si vous êtes intéressé), mais je ne sais pas...
Le mgcvpackage pour Ra deux fonctions pour ajuster les interactions des produits tensoriels: te()et ti(). Je comprends la division de base du travail entre les deux (ajustement d'une interaction non linéaire vs décomposition de cette interaction en effets principaux et interaction). Ce que je ne...
Quelqu'un peut-il m'expliquer quand utiliser l'impureté Gini et le gain d'informations pour les arbres de décision? Pouvez-vous me donner des situations / des exemples de la meilleure façon de les
Je travaille sur un problème de classification binaire où il est beaucoup plus important de ne pas avoir de faux positifs; beaucoup de faux négatifs sont ok. J'ai utilisé un tas de classificateurs dans sklearn par exemple, mais je pense qu'aucun d'entre eux n'a la capacité d'ajuster explicitement...