J'ai lu quelque part que la méthode variationnelle de Bayes est une généralisation de l'algorithme EM. En effet, les parties itératives des algorithmes sont très similaires. Afin de tester si l'algorithme EM est une version spéciale des Bayes variationnels, j'ai essayé ce qui suit:
est des données, est la collection de variables latentes et est les paramètres. Dans les Bayes variationnels que nous faisons, nous pouvons faire une approximation telle que . Où s sont des distributions plus simples et exploitables.
Puisque l'algorithme EM trouve une estimation de point MAP, je pensais que les Bayes variationnels peuvent converger vers EM si j'utilise une fonction Delta telle que: . est la première estimation des paramètres, comme c'est généralement le cas dans EM.
Lorsque est donné, qui minimise la divergence KL est trouvé par la formule La formule ci-dessus se simplifie en , cette étape se révèle être l'équivalent de l'étape Attente de l'algorithme EM!
Mais je ne peux pas dériver l'étape de maximisation comme la continuation de cela. Dans l'étape suivante, nous devons calculer et selon la règle d'itération variationnelle Bayes, c'est:
Les algorithmes VB et EM sont-ils vraiment connectés de cette manière? Comment pouvons-nous dériver EM comme un cas particulier des Bayes variationnels, mon approche est-elle vraie?
la source
Réponses:
Votre approche est correcte. EM est équivalent à VB sous la contrainte que la postérieure approximative de est contrainte d'être une masse ponctuelle. (Ceci est mentionné sans preuve à la page 337 de l'analyse des données bayésiennes .) Soit l'emplacement inconnu de cette masse ponctuelle: VB sera minimiser la divergence KL suivante: Le minimum sur donne le pas E de EM, et le minimum sur donne le pas M de EM.Θ Θ∗
Bien sûr, si vous deviez réellement évaluer la divergence KL, ce serait infini. Mais ce n'est pas un problème si vous considérez la fonction delta comme une limite.
la source