Problème de pratique de l'algorithme EM

Il s'agit d'un problème de pratique pour un examen à mi-parcours. Le problème est un exemple d'algorithme EM. J'ai des problèmes avec la partie (f). J'énumère les parties (a) - (e) à compléter et au cas où j'aurais fait une erreur plus tôt.

Soit des variables aléatoires exponentielles indépendantes avec un taux . Malheureusement, les valeurs réelles ne sont pas observées, et nous observons uniquement si les valeurs tombent dans certains intervalles. Soit , , et G_ { 3j} = \ mathbb {1} \ left \ {X_j> 2 \ right \} pour j = 1, \ ldots, n . Les données observées sont constituées de (G_ {1j}, G_ {2j}, G_ {3j}) .$X_1,\ldots,X_n$$\theta$$X$$X$$G_{1j} = \mathbb{1}\left\{X_j < 1\right\}$$G_{2j} = \mathbb{1}\left\{1< X_j<2\right\}$ j = 1 , … , $G_{3j} = \mathbb{1}\left\{X_j > 2\right\}$$j=1,\ldots,n$$(G_{1j},G_{2j},G_{3j})$

(a) Donner la probabilité des données observées:

$\begin{align*} L(\theta | G) &= \prod_{j=1}^n \text{Pr}\left\{X_j < 1\right\}^{G_{1j}}\text{Pr}\left\{1<X_j<2 \right\}^{G_{2j}}\text{Pr}\left\{X_j >2\right\}^{G_{3j}}\\ &= \prod_{j=1}^n \left(1-e^{-\theta}\right)^{G_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{G_{2j}}\left(e^{-2\theta}\right)^{G_{3j}} \end{align*}$

(b) Donner la probabilité complète des données

$\begin{align*} L(\theta | X,G) &= \prod_{j=1}^n \left(\theta e^{-\theta x_j}\right)^{G_{1j}}\left(\theta e^{-\theta x_j}\right)^{G_{2j}}\left(\theta e^{-\theta x_j}\right)^{G_{3j}} \end{align*}$

(c) Dériver la densité prédictive de la variable latente $f(x_j|G,\theta)$

$\begin{align*} f(x_j|G,\theta) &= \dfrac{f_{X,G}(x_j, g)}{f_G(g)}\\ &= \dfrac{ \theta e^{-\theta x_j}\mathbb{1}\left\{x_j \in \text{region r s.t. } G_{rj}=1\right\}}{\left(1-e^{-\theta}\right)^{g_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{g_{2j}}\left(e^{-2\theta}\right)^{g_{3j}}} \end{align*}$

(d) E-étape. Donnez la fonction$Q(\theta,\theta^i)$

$\begin{align*} Q(\theta,\theta^i) &= \text{E}_{X|G,\theta^i}\left[ \log{f(\mathbf{x}|G,\theta)}\right]\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}-e^{-2\theta})} - N_3\log{e^{-2\theta}}\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}(1-e^{-\theta}))} + 2\theta N_3\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3 \end{align*}$

où$N_1=\sum_{j=1}^n g_{1j}, N_2=\sum_{j=1}^n g_{2j}, N_3=\sum_{j=1}^n g_{3j}$

(e) Donner des expressions pour pour . r = 1 , 2 , $\text{E}\left[X_j|G_{rj}=1,\theta^i\right]$$r=1,2,3$

Je vais énumérer mes résultats qui, j'en suis sûr, ont raison, mais les dérivations seraient un peu longues pour cette question déjà longue:

$\begin{align*} \text{E}\left[X_j|G_{1j}=1,\theta^i\right] &= \left(\dfrac{1}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{2j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-\theta^i}-e^{-2\theta^i}}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{3j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right) \end{align*}$

C'est la partie sur laquelle je suis coincé, et cela pourrait être dû à une erreur antérieure:

(f) Étape M. Trouvez le qui maximiseQ ( θ , θ i$\theta$$Q(\theta,\theta^i)$

D'après la loi de l'espérance totale, nous avons ainsi tous$\begin{align*} \text{E}\left[X_j|G,\theta^i\right] &= \left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right) + \left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) + \left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= 1/\theta^i \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ &= n\log{\theta} - \theta\dfrac{n}{\theta^i} - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - \dfrac{n}{\theta^i} - \dfrac{(N_1+N_2)e^{-\theta}}{1-e^{-\theta}} + N_2+2N_3 \end{align*}$

Ensuite, je devrais mettre cela égal à zéro et résoudre pour , mais j'ai essayé cela depuis très longtemps et je n'arrive pas à résoudre pour !$\theta$$\theta$

La probabilité de données complètes ne doit pas impliquer G! Cela devrait simplement être la probabilité de lorsque les sont exponentiels. Notez que la probabilité de données complète telle que vous l'avez écrite se simplifie en une probabilité exponentielle car un seul des peut être 1. Laisser les dans la probabilité de données complètes, cependant, vous gâche plus tard. X G r j$\theta$$X$$G_{rj}$$G$

Dans la partie (d), il faut tenir compte de la vraisemblance complète du journal de données, et non de la probabilité observée du journal de données.

De plus, vous ne devriez pas utiliser la loi de l'attente totale! Rappelez-vous que G est observé et n'est pas aléatoire, vous ne devez donc effectuer qu'une seule de ces attentes conditionnelles pour chaque . Remplacez simplement cette attente conditionnelle par le terme , puis effectuez l'étape M.X ( i )$X_j$$X_j^{(i)}$

Sur la base des commentaires de @ jsk, je vais essayer de remédier à mes erreurs:

$\begin{align*} L(\theta|X,G) &= \prod_{j=1}^n \theta e^{-\theta x_j} \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n \text{E}\left[X_j|G,\theta^i\right]\\ &= n\log{\theta} - \theta\left(\dfrac{\sum_{j=1}^n g_{1j}}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i} - e^{-\theta^i}(1+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{2j}}{e^{-\theta^i}(1-e^{-\theta^i})}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{3j}}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= n\log{\theta} - \theta N_1 A - \theta N_2 B - \theta N_3 C\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - N_1A-N_2B - N_3C \overset{set}{=}0 \end{align*}$

en résolvant pour on obtientθ ( i + 1 ) = $\theta$$\theta^{(i+1)} = \dfrac{n}{N_1A+N_2B+N_3C}$