Word2vec est un réseau neuronal qui représente les mots sous forme de vecteurs dans un espace de grande dimension.
J'essaie de comprendre ce qu'est la similitude entre Latent Dirichlet Allocation et word2vec pour calculer la similarité de mots. Si je comprends bien, LDA mappe les mots sur un vecteur de probabilités de sujets latents , tandis que word2vec les mappe sur un vecteur de nombres réels (liés à la...
Après avoir formé les vecteurs de mots avec word2vec, vaut-il mieux les normaliser avant de les utiliser pour certaines applications en aval? C'est-à-dire quels sont les avantages / inconvénients de les
Comment utiliser un mot incorporé pour mapper un document sur un vecteur de caractéristiques approprié pour une utilisation avec apprentissage supervisé? Un mot incorporant mappe chaque mot www à un vecteur v∈Rdv∈Rdv \in \mathbb{R}^d , où ddd est un nombre non trop grand (par exemple 500). Les mots...
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement de réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 2 ans . J'utilise caret pour exécuter une forêt aléatoire validée de façon...
Je me demande pourquoi skip-gram est meilleur pour les mots peu fréquents que CBOW dans word2vec. J'ai lu la réclamation sur https://code.google.com/p/word2vec/
J'ai essayé de comprendre le concept d'échantillonnage négatif dans le contexte de word2vec. Je suis incapable de digérer l'idée d'un échantillonnage [négatif]. Par exemple, dans les articles de Mikolov, l'attente d'échantillonnage négative est formulée comme suit: Journalσ( ⟨ W , c ⟩ ) + k ⋅ EcN∼...
Ma question peut être stupide. Je m'excuse donc à l'avance. J'essayais d'utiliser le modèle GLOVE pré-formé par Stanford NLP group ( lien ). Cependant, j'ai remarqué que mes résultats de similitude montraient des chiffres négatifs. Cela m'a immédiatement incité à regarder le fichier de données...
Je ne sais pas si c'est le bon site de pile, mais voilà. Comment fonctionne la méthode .similiarity? Wow spaCy est super! Son modèle tfidf pourrait être plus simple, mais w2v avec une seule ligne de code?! Dans son didacticiel en 10 lignes sur spaCy andrazhribernik nous montre la méthode...
Je me demande pourquoi le softmax hiérarchique est meilleur pour les mots peu fréquents, alors que l'échantillonnage négatif est meilleur pour les mots fréquents, dans les modèles CBOW et skip-gram de word2vec. J'ai lu la réclamation sur https://code.google.com/p/word2vec/
J'essaie d'incorporer environ 60 millions de phrases dans un espace vectoriel , puis de calculer la similitude en cosinus entre elles. J'ai utilisé sklearn CountVectorizeravec une fonction de tokenizer construite sur mesure qui produit des unigrammes et des bigrammes. Il s'avère que pour obtenir...
J'ai des problèmes pour comprendre le modèle skip-gram de l'algorithme Word2Vec. Dans un sac de mots continu, il est facile de voir comment les mots de contexte peuvent "s'adapter" dans le réseau neuronal, car vous les basez en moyenne après avoir multiplié chacune des représentations de codage à...
Pour une tâche de traitement du langage naturel (NLP), on utilise souvent des vecteurs word2vec comme incorporation pour les mots. Cependant, il peut y avoir de nombreux mots inconnus qui ne sont pas capturés par les vecteurs word2vec simplement parce que ces mots ne sont pas assez souvent vus dans...
Je suis très nouveau dans les intégrations de mots. Je veux visualiser à quoi ressemblent les documents après leur apprentissage. J'ai lu que t-SNE est l'approche pour le faire. J'ai 100K documents avec 250 dimensions comme taille de l'incorporation. Plusieurs packages sont également disponibles....
J'essaie de me frayer un chemin à travers le premier ensemble de problèmes du matériel de cours en ligne stanford cs224d et j'ai des problèmes avec le problème 3A: lorsque j'utilise le modèle skip gram word2vec avec la fonction de prédiction softmax et la fonction de perte d'entropie croisée, nous...
Dans les modèles CBOW et skip-gram de word2vec, comment le choix des vecteurs de mots de (matrice de mots d'entrée) par rapport au choix des vecteurs de mots de (matrice de mots de sortie) affecte-t-il la qualité des vecteurs de mots résultants?WWWW′W′W' CBOW: Skip-gram:
Je passe en revue les problèmes liés aux problèmes d'affectation écrits de la classe d'apprentissage profond de Stanford NLP http://cs224d.stanford.edu/assignment1/assignment1_soln J'essaie de comprendre la réponse pour 3a où ils recherchent la dérivée du vecteur pour le mot central. Supposons que...