Supposons que nous ayons un ensemble de points . Chaque point est généré en utilisant la distribution Pour obtenir postérieur pour nous écrivons Selon le document de Minka sur Expectation propagation nous avons besoin calculs pour obtenir a posteriori p (x | \ mathbf {y}) et, donc, problème devient intraitable pour échantillons de grande taille N . Cependant, je ne peux pas comprendre pourquoi avons-nous besoin d'une telle quantité de calculs dans ce cas, car pour un seul y_i
En utilisant cette formule, nous obtenons a posteriori par simple multiplication de , nous n'avons donc besoin que de opérations, et nous pouvons donc résoudre exactement ce problème pour des échantillons de grande taille.
Je fais une expérience numérique pour comparer est-ce que j'obtiens vraiment le même postérieur dans le cas où je calcule chaque terme séparément et dans le cas où j'utilise un produit de densités pour chaque . Les postérieurs sont les mêmes. Voir Où je me trompe? Quelqu'un peut-il me dire clairement pourquoi avons-nous besoin de opérations pour calculer a posteriori pour donné et échantillon ?2 N x y
Réponses:
Vous avez raison de dire que le journal dit la mauvaise chose. Vous pouvez certainement évaluer la distribution postérieure de à un emplacement connu en utilisant des opérations . Le problème est lorsque vous voulez calculer des moments de la partie postérieure. Pour calculer exactement la moyenne postérieure de , vous auriez besoin de opérations. C'est le problème que le document tente de résoudre.x O(n) x 2N
la source
Vous avez manqué le point que la distribution est un mélange de gaussiens: chaque échantillon est soit distribué selon avec probabilité et comme (distribution d'encombrement pour , indépendante de ) avec probabilité .yi p(yi|x) 1−w pc(y) y x w
Soit la variable indicatrice indiquant que l'échantillon été tiré de la distribution du fouillis; ainsi, s'il vaut cela indique que l'échantillon a été tiré de . De toute évidence, si l'échantillon a été tiré de la distribution de fouillis, sa valeur n'est pas pertinente pour l'estimation de .ci i 0 p(y|x) x
C'est la présence des états conjoints possibles pour ces variables indicatrices qui cause le problème.2N
la source