Je cherche à trouver un poids pré-formé de modèles déjà formés comme les données de Google Actualités, etc. J'ai eu du mal à former un nouveau modèle avec suffisamment de données (10 Go, etc.) pour moi. Donc, je veux profiter de l'apprentissage par transfert dans lequel je serais en mesure d'obtenir des poids de couche pré-formés et de recycler ces poids sur des mots spécifiques à mon domaine. Donc, cela prendra certainement moins de temps à l'entraînement. Toute aide sera appréciée. Merci d'avance :)
la source
model = Word2Vec.load(fname) # you can continue training with the loaded model!
Les représentations distribuées (Glove) basées sur une formation sur un grand corpus sont directement disponibles auprès du groupe Stanford NLP. Vous pouvez utiliser ces incorporations de mots directement dans votre application (au lieu d'utiliser 1 vecteurs encodés à chaud, puis de former le réseau pour obtenir les incorporations). Si votre tâche n'est pas trop spécialisée, commencer avec cet ensemble d'implémentations fonctionnera bien dans la pratique.
la source
Jetez un œil à cet article [PDF] . L'objectif principal est la tâche NER, mais l'idée est la même - prendre des vecteurs word2vec pré-formés et les adapter à une application spécifique.
De nombreuses applications communes basées sur un réseau de neurones pour la PNL commencent souvent par des vecteurs pré-formés. Par exemple, un article très récent [PDF] (tâches de marquage NER et POS) fait exactement cela.
la source
la source