J'ai besoin d'obtenir une valeur aussi précise que possible pour la luminosité d'une source de lumière principalement stable étant donné douze valeurs de luminosité d'échantillon. Le capteur est imparfait, et la lumière peut parfois "scintiller" plus ou moins sombre, ce qui peut être ignoré, d'où...
Dans deux bibliothèques d'identification de langue populaires, Compact Language Detector 2 pour C ++ et détecteur de langue pour java, les deux utilisaient des n-grammes (basés sur des caractères) pour extraire des fonctionnalités de texte. Pourquoi un sac de mots (un seul mot / dictionnaire)...
Je comprends donc que lorsque vous formez des HMM à la classification, l'approche standard est la suivante: Séparez vos ensembles de données dans les ensembles de données pour chaque classe Former un HMM par classe Sur l'ensemble de test, comparez la probabilité de chaque modèle de classer chaque...
J'effectue une tâche de classification binaire où la probabilité de résultat est assez faible (environ 3%). J'essaie de décider s'il faut optimiser par AUC ou perte de journal. Autant que j'ai compris, l'AUC maximise la capacité du modèle à discriminer entre les classes tandis que la perte de log...
J'ai un très grand ensemble de données et il manque environ 5% de valeurs aléatoires. Ces variables sont corrélées entre elles. L'exemple de jeu de données R suivant n'est qu'un exemple de jouet avec des données corrélées factices. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1,...
Je rencontre actuellement des problèmes lors de l'analyse d'un ensemble de données de tweet avec des machines à vecteurs de support. Le problème est que j'ai un ensemble d'entraînement en classe binaire déséquilibré (5: 2); qui devrait être proportionnelle à la distribution réelle des classes. Lors...
Je suis un peu nouveau dans l'exploration de données et je travaille sur un modèle de classification pour la prévision de la cote des films. J'ai collecté des ensembles de données de l'IMDB et je prévois d'utiliser des arbres de décision et des approches de voisin le plus proche pour mon modèle. Je...
Cet article sur Adaboost donne quelques suggestions et code (page 17) pour étendre les modèles à 2 classes aux problèmes de classe K. Je voudrais généraliser ce code, de sorte que je puisse facilement brancher différents modèles à 2 classes et comparer les résultats. Étant donné que la plupart des...
Le mgcvpackage pour Ra deux fonctions pour ajuster les interactions des produits tensoriels: te()et ti(). Je comprends la division de base du travail entre les deux (ajustement d'une interaction non linéaire vs décomposition de cette interaction en effets principaux et interaction). Ce que je ne...
Je travaille sur un problème de classification binaire où il est beaucoup plus important de ne pas avoir de faux positifs; beaucoup de faux négatifs sont ok. J'ai utilisé un tas de classificateurs dans sklearn par exemple, mais je pense qu'aucun d'entre eux n'a la capacité d'ajuster explicitement...
Je voudrais comparer 2 classificateurs différents pour un problème de classification de texte multiclasse qui utilise de grands ensembles de données d'apprentissage. Je doute que je devrais utiliser des courbes ROC ou des courbes d'apprentissage pour comparer les 2 classificateurs. D'une part, les...
Je travaille avec des données déséquilibrées, où il y a environ 40 cas class = 0 pour chaque classe = 1. Je peux raisonnablement faire la distinction entre les classes en utilisant des fonctionnalités individuelles, et la formation d'un classificateur naïf Bayes et SVM sur 6 fonctionnalités et des...
Supposons que j'ai un classificateur (il pourrait s'agir de n'importe quel classificateur standard comme l'arbre de décision, la forêt aléatoire, la régression logistique, etc.) pour la détection de fraude en utilisant le code ci-dessous library(randomForest) rfFit = randomForest(Y ~ ., data =...
J'ai exécuté PCA sur 17 variables quantitatives afin d'obtenir un plus petit ensemble de variables, c'est-à-dire les principaux composants, à utiliser dans l'apprentissage automatique supervisé pour classer les instances en deux classes. Après PCA, PC1 représente 31% de la variance des données, PC2...
Je travaille sur un problème de classification qui calcule une métrique de similitude entre deux images radiographiques d'entrée. Si les images sont de la même personne (étiquette de «droite»), une métrique plus élevée sera calculée; les images d'entrée de deux personnes différentes (étiquette de...
J'ai 100 000 observations (9 variables indicatrices factices) avec 1000 positifs. La régression logistique devrait bien fonctionner dans ce cas, mais la probabilité de coupure me laisse perplexe. Dans la littérature courante, nous choisissons un seuil de 50% pour prédire les 1 et les 0. Je ne peux...
Je travaille sur le développement d'un modèle prédictif des risques d'assurance. Ces modèles sont des «événements rares» comme la prévision de non-présentation des compagnies aériennes, la détection de pannes matérielles, etc. Pendant que je préparais mon ensemble de données, j'essayais d'appliquer...
Je comprends que la f-mesure (basée sur la précision et le rappel) est une estimation de la précision d'un classificateur. De plus, la mesure f est préférée à la précision lorsque nous avons un ensemble de données déséquilibré. J'ai une question simple (qui concerne plus l'utilisation d'une...
Selon certains articles que je lis, la distance de Jeffries et Matusita est couramment utilisée. Mais je n'ai pas trouvé beaucoup d'informations à ce sujet, sauf pour la formule ci-dessous JMD (x, y) =∑(xi−−√2−yi−−√2)2−−−−−−−−−−−−−√2∑(xi2−yi2)22\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2} Elle est...
Supposons que deux classes et ont un attribut et ont la distribution et . si nous avons égal pour la matrice de coût suivante:C1C1C_1C2C2C_2xxxN(0,0.5)N(0,0.5) \cal{N} (0, 0.5)N(1,0.5)N(1,0.5) \cal{N} (1, 0.5)P(C1)=P(C2)=0.5P(C1)=P(C2)=0.5P(C_1)=P(C_2)=0.5 L=[010.50]L=[00.510]L= \begin{bmatrix} 0 &...