Je lisais: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Mais je n'arrive pas à comprendre exactement pourquoi la formule a été construite telle qu'elle est. Ce que je comprends: iDF devrait à un certain niveau mesurer la fréquence à laquelle un terme S apparaît dans chacun des documents,...
Exemples: J'ai une phrase dans la description de poste: "Java senior engineer in UK". Je veux utiliser un modèle d'apprentissage profond pour le prédire en 2 catégories: English et IT jobs. Si j'utilise un modèle de classification traditionnel, il ne peut prédire qu'une seule étiquette avec...
Donc, j'ai 16 essais dans lesquels j'essaie d'authentifier une personne à partir d'un trait biométrique en utilisant Hamming Distance. Mon seuil est fixé à 3,5. Mes données sont ci-dessous et seul l'essai 1 est un vrai positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47...
J'ai fait des recherches occasionnelles sur Internet sur les biclusters. (J'ai lu l'article Wiki plusieurs fois.) Jusqu'à présent, il semble qu'il y ait peu de définitions ou de terminologie standard. Je me demandais s'il y avait des articles ou des livres standard que toute personne intéressée par...
Mon ensemble de données comprend la mortalité totale ou la survie d'un organisme sur trois types de sites: côtier, médian et extracôtier. Les nombres dans le tableau ci-dessous représentent le nombre de sites. 100% Mortality 100% Survival Inshore 30 31 Midchannel 10 20 Offshore 1 10 Je voudrais...
Selon wiki, le critère de convergence le plus utilisé est "l'assignation n'a pas changé". Je me demandais si le cyclisme peut se produire si nous utilisons un tel critère de convergence? Je serais heureux si quelqu'un faisait référence à un article qui donne un exemple de cyclisme ou prouve que...
Il est mentionné ici qu'une des méthodes pour déterminer le nombre optimal de grappes dans un ensemble de données est la "méthode du coude". Ici, le pourcentage de variance est calculé comme le rapport de la variance entre les groupes à la variance totale. J'avais du mal à comprendre ce calcul....
cette question a commencé comme " Clustering spatial data in R " et est maintenant passée à la question DBSCAN. Comme les réponses à la première question l'ont suggéré, j'ai cherché des informations sur DBSCAN et j'ai lu quelques documents. De nouvelles questions ont surgi. DBSCAN nécessite...
Comment regrouper une entité avec une mesure de distance asymétrique? Par exemple, supposons que vous regroupiez un ensemble de données avec des jours de la semaine comme entité - la distance du lundi au vendredi n'est pas la même que la distance du vendredi au lundi. Comment intégrez-vous cela...
Disons que nous définissons une distance, qui n'est pas une métrique , entre N éléments. Sur la base de cette distance, nous utilisons ensuite un regroupement hiérarchique agglomératif . Pouvons-nous utiliser chacun des algorithmes connus (liaison simple / maximale / moyenne, etc.) pour obtenir des...
J'essaie de regrouper différents ensembles de données en utilisant des algorithmes non supervisés (clustering). Le problème est que j'ai de nombreuses fonctionnalités (~ 500) et une petite quantité de cas (200-300). Jusqu'à présent, je ne faisais que des problèmes de classification pour lesquels...
Je recherche des ensembles de données de points de données bidimensionnels (chaque point de données est un vecteur de deux valeurs (x, y)) suivant différentes distributions et formes. Un code pour générer de telles données serait également utile. Je veux les utiliser pour tracer / visualiser le...
Supposons que j'ai un échantillon de fréquences de 4 événements possibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 et j'ai les probabilités attendues que mes événements se produisent: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Avec la somme des fréquences observées de mes quatre événements (18), je peux calculer...
Pour la tâche de modélisation de l'attrition, je considérais: Calculer k clusters pour les données Construisez k modèles pour chaque cluster individuellement. La raison en est, qu'il n'y a rien à prouver, que la population des abonnés est homogène, il est donc raisonnable de supposer que le...
Quelqu'un connaît-il une bonne méthode pour déterminer si le regroupement à l'aide de kmeans est même approprié? Autrement dit, que se passe-t-il si votre échantillon est réellement homogène? Je sais que quelque chose comme un modèle de mélange (via mclust dans R) fournira des statistiques...
Je me demande s'il existe un bon moyen de calculer le critère de clustering basé sur la formule BIC, pour une sortie k-means dans R? Je suis un peu confus quant à la façon de calculer ce BIC afin de pouvoir le comparer avec d'autres modèles de clustering. Actuellement, j'utilise l'implémentation du...
J'essaie d'implémenter le modèle de mélange gaussien avec l'inférence variationnelle stochastique, à la suite de cet article . C'est le pgm du mélange gaussien. Selon l'article, l'algorithme complet d'inférence variationnelle stochastique est: Et je suis encore très confus de la méthode pour...
J'ai des données bruyantes de deux variables comme celle-ci. x1 <- rep(seq(0,1, 0.1), each = 3000) set.seed(123) y1 <- rep (c(0.2, 0.8, 0.3, 0.9, 0.65, 0.35,0.7,0.1,0.25, 0.3, 0.95), each = 3000) set.seed(1234) e1 = rnorm(length(x1), 0.07,0.07) set.seed(1223) e2 = rnorm(length(x1), 0.07,0.07)...
Voici un graphique de p. 202 du Dataclysm de Christian Rudder , bien qu'il ait été fait par James Dowdell. Il illustre les relations entre les 200 principaux sous-mariages, qui sont des domaines d'intérêt sur reddit.com où les utilisateurs peuvent soumettre des liens, des commentaires et des votes....
J'ai eu du mal à interpréter les grappes résultantes d'une matrice d'adjacence. J'ai 200 matrices relativement grandes représentant des sujets qui contiennent des corrélations partielles (scores z) de séries chronologiques (données neuronales). L'objectif est de regrouper ces 210 matrices et de...