Comment utilisez-vous l'algorithme EM pour calculer les MLE pour une formulation de variable latente d'un modèle de Poisson gonflé zéro?

Le modèle de régression de Poisson gonflé à zéro est défini pour un échantillon par et il suppose en outre que les paramètres et satisfont $(y_1,\ldots,y_n)$

Y_{i} = {\begin{cases} 0 & with probability p_{i} + (1 - p_{i}) e^{- λ_{i}} \\ k & with probability (1 - p_{i}) e^{- λ_{i}} λ_{i}^{k} / k! \end{cases}

$Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}$

λ = (λ_{1}, \dots, λ_{n})

$\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)$

p = (p_{1}, \dots, p_{n})

$\textbf{p} = (p_1, \dots, p_n)$

\begin{aligned} \log (λ) & = B β \\ logit (p) & = \log (p / (1 - p)) = G γ . \end{aligned}

$\eqalign{ \log(\mathbf{\lambda}) &= \textbf{B} \beta \\ \text{logit}(\textbf{p}) &= \log(\textbf{p}/(1-\textbf{p})) = \textbf{G} \mathbf{\gamma}. }$

La probabilité logarithmique correspondante du modèle de régression de Poisson gonflé à zéro est

\begin{aligned} L (γ, β; y) & = \sum_{y_{i} = 0} \log (e^{G_{i} γ} + \exp (- e^{B_{i} β})) + \sum_{y_{i} > 0} (y_{i} B_{i} β - e^{B_{i} β}) \\ - \sum_{i = 1}^{n} \log (1 + e^{G_{i} γ}) - \sum_{y_{i} > 0} \log (y_{i}!) \end{aligned}

$\eqalign{ L(\gamma,\mathbf{\beta}; \mathbf{y}) &= \sum_{y_i=0} \log(e^{G_i \gamma}+\exp(-e^{\textbf{B}_i \mathbf{\beta}})) +\sum_{y_i >0} (y_i \textbf{B}_i \mathbf{\beta}-e^{\textbf{B}_i \mathbf{\beta}})\\ &\quad -\sum_{i=1}^{n} \log(1+e^{G_{i} \gamma})-\sum_{y_i >0} \log(y_{i}!)}$

Ici, et sont les matrices de conception. Ces matrices pourraient être les mêmes, selon les fonctionnalités que l'on souhaite utiliser pour les deux processus de génération. Ils ont cependant le même nombre de lignes. $\mathrm{B}$ $\mathrm{G}$

En supposant que nous puissions observer lorsque est de l'état parfait, zéro et lorsque est de l'état de Poisson, la log-vraisemblance serait $Z_i = 1$ $Y_i$ $Z_i = 0$ $Y_i$

L (γ, β; y, z) = \sum_{i = 1}^{n} \log (f (z_{i} | γ)) + \sum_{i = 1}^{n} \log (f (y_{i} | z_{i}, β))

$L(\gamma,\mathbf{\beta}; \mathbf{y}, \mathbf{z}) = \sum_{i=1}^{n} \log(f(z_i|\mathbf{\gamma}))+\sum_{i=1}^{n} \log(f(y_i|z_i, \mathbf{\beta}))$

= \sum_{i = 1}^{n} z_{i} (G_{i} γ - \log (1 + e^{G_{i} γ})) + - \sum_{i = 1}^{n} (1 - z_{i}) \log (1 + e^{G_{i} γ}) + \sum_{i = 1}^{n} (1 - z_{i}) [y_{i} B_{i} β - e^{B_{i} β} - \log (y_{i}!)]

$= \sum_{i=1}^{n} z_{i} (\textbf{G}_i \gamma-\log(1+e^{G_{i} \gamma}))+ -\sum_{i=1}^{n} (1-z_{i})\log(1+e^{G_{i} \gamma})+ \sum_{i=1}^{n} (1-z_i)[y_{i} \textbf{B}_i \beta-e^{\textbf{B}_i \beta} - \log(y_{i}!)]$ Les deux premiers termes sont la perte dans une régression logistique pour séparer

z_{i} = 0

$z_i=0$ de

z_{i} = 1

$z_i=1$ . Le deuxième terme est une régression vers les points générés par le processus de Poisson.

Mais les variables latentes ne sont-elles pas observables? Le but est de maximiser la première probabilité de log. Mais nous devons introduire des variables latentes et dériver une nouvelle log-vraisemblance. Ensuite, en utilisant l'algorithme EM, nous pouvons maximiser la deuxième log-vraisemblance. Mais cela suppose que nous savons que ou ? $Z_i = 0$ $Z_i = 1$

generalized-linear-model maximum-likelihood poisson-distribution expectation-maximization latent-variable Damien
la source

Qu'est-ce que ? En outre, de grandes parties de cette question semblent être largement coupées et collées à partir d'une question différente et antérieure de @Robby. Est-ce vous?

f

$f$

Macro

@Macro: Macro oui c'est moi. Je ne suis pas sûr de ce que est. Le journal n'a jamais dit.

f

$f$

Damien

La racine de la difficulté que vous rencontrez réside dans la phrase:

Ensuite, en utilisant l'algorithme EM, nous pouvons maximiser la deuxième log-vraisemblance.

$z_i$

$k^{th}$ $z_i$ $(k-1)^{th}$

$\lambda$ $p$

# Generate data
# Lambda = 1,  p(zero) = 0.1
x <- rpois(10000,1)
x[1:1000] <- 0

# Sufficient statistic for the ZIP
sum.x <- sum(x)

# (Poor) starting values for parameter estimates
phat <- 0.5
lhat <- 2.0

zhat <- rep(0,length(x))
for (i in 1:100) {
  # zhat[x>0] <- 0 always, so no need to make the assignment at every iteration
  zhat[x==0] <- phat/(phat +  (1-phat)*exp(-lhat))

  lhat <- sum.x/sum(1-zhat) # in effect, removing E(# zeroes due to z=1)
  phat <- mean(zhat)   

  cat("Iteration: ",i, "  lhat: ",lhat, "  phat: ", phat,"\n")
}

Iteration:  1   lhat:  1.443948   phat:  0.3792712 
Iteration:  2   lhat:  1.300164   phat:  0.3106252 
Iteration:  3   lhat:  1.225007   phat:  0.268331 
...
Iteration:  99   lhat:  0.9883329   phat:  0.09311933 
Iteration:  100   lhat:  0.9883194   phat:  0.09310694

1-zhat $\beta$ $\lambda_i$

$\sum (\mathbb{E}z_i\log{p_i} + (1-\mathbb{E}z_i)\log{(1-p_i)})$

$\mathbf{G}$ $p_i$ $\mathbb{E}z_i = p_i/(p_i+(1-p_i)\exp{(-\lambda_i)})$

Si vous voulez le faire pour des données réelles, au lieu de simplement comprendre l'algorithme, les packages R existent déjà; voici un exemple http://www.ats.ucla.edu/stat/r/dae/zipoisson.htm utilisant la psclbibliothèque.

EDIT: Je dois souligner que ce que nous faisons est de maximiser la valeur attendue de la probabilité du journal des données complètes, PAS de maximiser la probabilité du journal des données complètes avec les valeurs attendues des données manquantes / variables latentes branchées. la vraisemblance du journal des données complètes est linéaire dans les données manquantes, comme c'est le cas ici, les deux approches sont les mêmes, mais sinon, elles ne le sont pas.

jbowman
la source

@Cokes, vous devez ajouter ces informations comme votre propre réponse supplémentaire, et non modifier une réponse existante. Cette modification n'aurait pas dû être approuvée.

gung - Rétablir Monica

Comment utilisez-vous l'algorithme EM pour calculer les MLE pour une formulation de variable latente d'un modèle de Poisson gonflé zéro?

Réponses: