Représentation vectorielle d'entrée vs représentation vectorielle de sortie dans word2vec

Dans les modèles CBOW et skip-gram de word2vec, comment le choix des vecteurs de mots de (matrice de mots d'entrée) par rapport au choix des vecteurs de mots de (matrice de mots de sortie) affecte-t-il la qualité des vecteurs de mots résultants?$W$$W'$

CBOW:

Skip-gram:

Garten et al. {1} des vecteurs de mots comparés obtenus en ajoutant des vecteurs de mots d'entrée avec des vecteurs de mots de sortie, par rapport aux vecteurs de mots obtenus en concaténant des vecteurs de mots d'entrée avec des vecteurs de mots de sortie. Dans leurs expériences, la concaténation donne des résultats nettement meilleurs:

La conférence vidéo {2} recommande de faire la moyenne des vecteurs de mots d'entrée avec les vecteurs de mots de sortie, mais ne compare pas la concaténation des vecteurs de mots d'entrée avec les vecteurs de mots de sortie.

Références:

• {1} Garten, J., Sagae, K., Ustun, V., et Dehghani, M. (2015, juin). Combinaison de représentations vectorielles distribuées pour les mots . Dans les actes de NAACL-HLT (pp. 95-101).
• {2} Stanford CS224N: PNL avec apprentissage en profondeur par Christopher Manning | Hiver 2019 | Conférence 2 - Vecteurs de mots et sens des mots. https://youtu.be/kEMJRjEdNzM?t=1565 ( miroir )