Lors de l'utilisation de la modélisation de sujet (allocation Dirichlet latente), le nombre de sujets est un paramètre d'entrée que l'utilisateur doit spécifier. Il me semble que nous devrions également fournir une collection d'ensembles de sujets candidats que le processus Dirichlet doit...
J'essaie d'effectuer un clustering au niveau du document. J'ai construit la matrice de fréquence terme-document et j'essaie de regrouper ces vecteurs de haute dimension en utilisant k-means. Au lieu de regrouper directement, ce que j'ai fait, j'ai d'abord appliqué la décomposition vectorielle...
J'ai construit des réseaux de neurones (MLP (entièrement connecté), Elman (récurrent)) pour différentes tâches, comme jouer au Pong, classer les chiffres manuscrits et tout ça ... De plus, j'ai essayé de construire certains premiers réseaux de neurones convolutifs, par exemple pour classer des...
Je travaille sur un problème de clustering de texte. Les données contiennent plusieurs phrases. Existe-t-il un bon algorithme qui atteint une grande précision sur un texte court? Pouvez-vous fournir de bonnes références? Des algorithmes tels que KMeans, le clustering spectral ne fonctionnent pas...
Ces termes se mélangent beaucoup, mais j'aimerais savoir quelles sont, selon vous, les différences, le cas échéant.
Inspiré par cette question , je me demande si des travaux ont été effectués sur des modèles de sujet pour de grandes collections de textes extrêmement courts. Mon intuition est que Twitter devrait être une inspiration naturelle pour de tels modèles. Cependant, à partir d'une expérimentation...
Je dois faire face à un problème de classification de texte. Un robot d'indexation analyse des pages Web d'un certain domaine et pour chaque page Web, je veux savoir si elle appartient à une seule classe spécifique ou non. Autrement dit, si j'appelle cette classe positive , chaque page Web analysée...
J'ai passé trois jours à essayer tmaprès avoir lu le projet de document d'un ami où il a exploré un corpus de texte avec UCINET, montrant des nuages de texte, des graphiques de réseau à deux modes et une décomposition en valeur unique (avec des graphiques, en utilisant Stata). J'ai rencontré un...
Lors du traitement du langage naturel, on peut prendre un corpus et évaluer la probabilité que le mot suivant apparaisse dans une séquence de n. n est généralement choisi comme 2 ou 3 (bigrammes et trigrammes). Existe-t-il un point connu où le suivi des données pour la nième chaîne devient...
Quelle (s) est / sont la différence (s) entre ces modèles de représentation textuelle: sac de mots et modèle d'espace
J'ai une matrice de termes de document , et maintenant je voudrais extraire des mots-clés pour chaque document avec une méthode d'apprentissage supervisé (SVM, Naive Bayes, ...). Dans ce modèle, j'utilise déjà Tf-idf, Pos tag, ...MMM Mais maintenant, je me pose des questions sur les voisins. J'ai...
Dans deux bibliothèques d'identification de langue populaires, Compact Language Detector 2 pour C ++ et détecteur de langue pour java, les deux utilisaient des n-grammes (basés sur des caractères) pour extraire des fonctionnalités de texte. Pourquoi un sac de mots (un seul mot / dictionnaire)...
Pouvez-vous recommander un package d'exploration de texte dans R qui peut être utilisé contre de gros volumes de données? Deuxièmement, existe-t-il une interface graphique disponible pour l'un des packages d'exploration de texte dans R? Troisièmement, existe-t-il un autre programme d'exploration de...
Salut, je voulais savoir s'il y avait de bons livres sur l'exploration de texte et la classification avec quelques études de cas?. Sinon, certains articles / revues accessibles au public feraient l'affaire. S'ils illustrent encore mieux leurs exemples avec R. Je ne cherche pas un manuel étape par...
Une approche traditionnelle de la construction d'entités pour l'exploration de texte est une approche par sac de mots, et peut être améliorée à l'aide de tf-idf pour configurer le vecteur d'entités caractérisant un document texte donné. À l'heure actuelle, j'essaie d'utiliser un modèle de langage...
Selon la documentation de la removeSparseTermsfonction du tmpackage, voici ce que la rareté implique: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix...
Je lisais: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Mais je n'arrive pas à comprendre exactement pourquoi la formule a été construite telle qu'elle est. Ce que je comprends: iDF devrait à un certain niveau mesurer la fréquence à laquelle un terme S apparaît dans chacun des documents,...
Mon ensemble de données comprend la mortalité totale ou la survie d'un organisme sur trois types de sites: côtier, médian et extracôtier. Les nombres dans le tableau ci-dessous représentent le nombre de sites. 100% Mortality 100% Survival Inshore 30 31 Midchannel 10 20 Offshore 1 10 Je voudrais...
Je ne sais pas si cette question est pleinement appropriée ici, sinon, veuillez la supprimer. Je suis un étudiant diplômé en économie. Pour un projet qui étudie les problèmes des assurances sociales, j'ai accès à un grand nombre de cas administratifs (> 200k) qui traitent des évaluations...
Je venais juste de me voir confier un projet d'analyse des sentiments pour certaines collections de documents. Par Google, beaucoup de recherches liées au sentiment ont surgi. Mes questions sont: Quelles sont les principales méthodes / algorithmes pour l'analyse des sentiments dans le domaine de...