Des GAN (réseaux génératifs contradictoires) sont-ils également possibles pour le texte?

Les GAN - réseaux générateurs de confrontations - sont-ils bons uniquement pour les images, ou pourraient-ils également être utilisés pour le texte?

Comme, former un réseau pour générer des textes significatifs à partir d'un résumé.

UPD - citations de l'inventeur du GAN Ian Goodfellow.

Les GAN n'ont pas été appliqués au PNL car les GAN ne sont définis que pour les données à valeur réelle. ( 2016 ) source

Ce n'est pas une idée fondamentalement erronée. Il devrait être possible de faire au moins l'une des actions suivantes ... (2017) source

Oui, les GAN peuvent être utilisés pour le texte. Cependant, il y a un problème dans la combinaison du fonctionnement des GAN et de la façon dont le texte est normalement généré par les réseaux de neurones:

• Les GAN fonctionnent en propageant des dégradés à travers la composition de Generator et Discriminator.
• Le texte est normalement généré en ayant une couche softmax finale sur l'espace du jeton, c'est-à-dire que la sortie du réseau correspond normalement aux probabilités de générer chaque jeton (c'est-à-dire une unité stochastique discrète).

Ces 2 choses ne fonctionnent pas bien ensemble, car vous ne pouvez pas propager des gradients à travers des unités stochastiques discrètes. Il existe 2 approches principales pour y faire face: l' algorithme REINFORCE et la reparamétrisation Gumbel-Softmax (également connue sous le nom de distribution Concrete ). Tenez compte du fait que REINFORCE est connu pour avoir une variance élevée, vous avez donc besoin de grandes quantités de données pour obtenir de bonnes estimations de gradient.

À titre d'exemple de REINFORCE pour les GAN textuels, vous pouvez consulter l' article SeqGAN . Un exemple de Gumbel-Softmax vous pouvez consulter cet article .

Une autre option complètement différente est de ne pas avoir une unité stochastique discrète en sortie du générateur (par exemple, générer des jetons de manière déterministe dans l'espace intégré), éliminant ainsi le problème initial de rétropropagation à travers eux.

Il existe des recherches encore plus spécifiques sur ce sujet:

Le générateur formé est capable de produire des phrases avec un certain niveau de grammaire et de logique.

Xuerong Xiao, "Génération de texte à l'aide d'une formation contradictoire générative"

Cette question concerne celle-ci: https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem

Oui, les GAN peuvent désormais également être utilisés pour des données discrètes. Le premier exemple de cette intuition est venu lorsque les WAN Wasserstein (WGAN) ont vu le jour. Ian Goodfellow a abordé une approche d'apprentissage par renforcement de ce problème lors de la conférence NIPS 2016. Cet article traite également des avancées du GAN en ce qui concerne les données discrètes.