Autoencodeur variationnel avec modèle de mélange gaussien

Un autoencodeur variationnel (VAE) fournit un moyen d'apprendre la distribution de probabilité reliant une entrée à sa représentation latente . En particulier, le codeur e mappe une entrée x à une distribution sur z . Un encodeur typique affichera des paramètres (\ mu, \ sigma) = e (x) , représentant la distribution gaussienne \ mathcal {N} (\ mu, \ sigma) ; cette distribution est utilisée comme approximation pour p (z | x) .$p(x,z)$$x$$z$$e$$x$$z$$(\mu,\sigma)=e(x)$$\mathcal{N}(\mu,\sigma)$$p(z|x)$

Quelqu'un a-t-il envisagé une VAE dont la sortie est un modèle de mélange gaussien plutôt que gaussien? Est-ce utile? Y a-t-il des tâches où cela est significativement plus efficace qu'une simple distribution gaussienne? Ou offre-t-il peu d'avantages?

Oui, cela a été fait. Le document suivant met en œuvre quelque chose de cette forme:

Clustering non supervisé en profondeur avec des auto-encodeurs variationnels à mélange gaussien . Nat Dilokthanakul, Pedro AM Mediano, Marta Garnelo, Matthew CH Lee, Hugh Salimbeni, Kai Arulkumaran, Murray Shanahan.

Ils expérimentent l'utilisation de cette approche pour le clustering. Chaque gaussien dans le mélange gaussien correspond à un cluster différent. Étant donné que le mélange gaussien se trouve dans l'espace latent ( ) et qu'il existe un réseau de neurones reliant à , cela permet des grappes non triviales dans l'espace d'entrée ( ).$z$$z$$x$$x$

Ce document mentionne également l'article de blog suivant, qui expérimente une variation différente de cette architecture: http://ruishu.io/2016/12/25/gmvae/

Merci à shimao de l'avoir signalé.