MCMC et augmentation des données

J'ai regardé une question d'augmentation de données MCMC; la forme générale de la question est la suivante:

Supposons que les données recueillies sur un processus suggèrent et qu'un a priori pour le paramètre de débit soit suggéré comme . Les données sont enregistrées et présentées sous une forme typique (c'est-à-dire le nombre d'occurrences de chaque valeur pour de à ), cependant, les données recueillies ne font pas de discrimination dans les cas où (c'est-à-dire toutes les occurrences où et sont regroupées en une seule catégorie). $X_{i} \sim \text{Pois}(\lambda)$ $\lambda \sim \text{Exp}(\lambda_{0})$ $X_{i}$ $0$ $n$ $X_{i} \leq 1$ $X_{i} = 0$ $X_{i} = 1$

Compte tenu des données, de la probabilité et de la priorité décrites ci-dessus, la question demande:

La forme postérieure de , $\lambda$
Le nombre d'occurrences où . $X_{i} = 0$

Je ne sais pas vraiment comment répondre à cette question, mais je suis conscient que l'échantillonnage de Gibbs peut être utilisé dans l'augmentation des données. Quelqu'un at-il des informations sur la façon dont cela pourrait être fait?

ÉDITER:

Je dois préciser que c'est principalement la deuxième partie (le nombre d'occurrences où ) dont je ne suis pas sûr. Pour la première partie (la forme postérieure de ), étant donné la vraisemblance et le prior suggéré, j'ai raisonné (bien que je sois heureux d'être corrigé): $X_{i} = 0$ $\lambda$

Donné:

π (λ | \vec{x}) \propto p (\vec{x} | λ) \times p (λ)

$\pi(\lambda|\vec{x}) \propto p(\vec{x}|\lambda) \times p(\lambda)$

Donc, pour le modèle donné ci-dessus:

π (λ | \vec{x}) = \frac{λ^{\sum_{i = 1}^{n} x_{i}}}{\sum_{i = 1}^{n} x_{i}!} e^{- n λ} \times λ_{0} e^{- λ λ_{0}}

$\pi(\lambda|\vec{x}) = \frac{\lambda^{\sum_{i=1}^{n}x_{i}}}{\sum_{i=1}^{n}x_{i}!}e^{-n\lambda} \times \lambda_{0}e^{-\lambda \lambda_{0}}$

Simplifier les rendements:

π (λ | \vec{x}) = \frac{λ^{\sum_{i = 1}^{n} x_{i}}}{\sum_{i = 1}^{n} x_{i}!} e^{- λ (n + λ_{0})} λ_{0}

$\pi(\lambda|\vec{x}) = \frac{\lambda^{\sum_{i=1}^{n}x_{i}}}{\sum_{i=1}^{n}x_{i}!}e^{-\lambda(n+\lambda_{0})}\lambda_{0}$

qui est proportionnelle à (et donc la forme postérieure est donnée par):

π (λ | \vec{x}) \propto λ^{\sum_{i = 1}^{n} x_{i}} e^{- λ (n + λ_{0})} λ_{0}

$\pi(\lambda|\vec{x}) \propto \lambda^{\sum_{i=1}^{n}x_{i}}e^{-\lambda(n+\lambda_{0})}\lambda_{0}$

self-study mcmc monte-carlo data-augmentation user9171
la source

Votre réponse ne tient pas compte du fait que les observations égales à zéro et à une sont fusionnées: ce que vous avez calculé est le postérieur pour les données complètes de Poisson , plutôt que pour les données agrégées ou fusionnées , . $(X_1,\ldots,X_n)$ $(X_1^*,\ldots,X^*_n)$

Si l'on prend la convention selon laquelle l'observation correspond à ou et l'observation à , la densité du vecteur observé est (après quelques algèbre et factorisation) où est le nombre de fois les sont égaux à un. Le dernier terme entre parenthèses ci-dessus est la probabilité d'obtenir 0 ou 1 dans un tirage de Poisson. $X_i^*=1$ $X_i=1$ $X_i=0$ $X_i^*=k>1$ $X_i=k$ $(X_1^*,\ldots,X^*_n)$

π (λ | x_{1}^{*}, \dots, x_{n}^{*}) \propto λ^{\sum_{i = 1}^{n} x_{i}^{*} I (x_{i}^{*} > 1)} \exp {- λ (λ_{0} + n)} \times {1 + λ}^{n_{1}}

$\pi(\lambda|x_1^*,\ldots,x^*_n) \propto \lambda^{\sum_{i=1}^n x_i^*\mathbb{I}(x_i^*>1)} \exp\{-\lambda(\lambda_0+n)\} \times \{1+\lambda\}^{n_1}$

n_{1}

$n_1$

x_{i}^{*}

$x_i^*$

Voici donc votre postérieur vrai / observé. De là, vous pouvez implémenter un échantillonneur Gibbs en

Générer les "observations manquantes" données et les observations, à savoir simuler , qui est donnée par $\lambda$ $p(x_i|\lambda,x_i^*=1)$ $P (x_{i} = 0 | λ, x_{i}^{*} = 1) = 1 - P (x_{i} = 1 | λ, x_{i}^{*} = 1) = \frac{1}{1 + λ} .$ $\mathbb{P}(x_i=0|\lambda,x_i^*=1)=1-\mathbb{P}(x_i=1|\lambda,x_i^*=1)=\dfrac{1}{1+\lambda}\,.$
Génération de étant donné les "données complétées", ce qui revient à comme vous l'avez déjà calculé. $\lambda$ $λ | x_{1}, \dots, x_{n} \sim G (\sum_{i} x_{i} + 1, n + λ_{0})$ $\lambda|x_1,\ldots,x_n \sim \mathcal{G}(\sum_i x_i + 1,n+\lambda_0)$

(Si vous voulez plus de détails, l'exemple 9.7, p.346, dans mon livre sur les méthodes statistiques de Monte Carlo avec George Casella couvre exactement ce paramètre.)

Xi'an
la source

(2) Tout algorithme MCMC peut commencer avec des valeurs arbitraires car la chaîne de Markov est récurrente, c'est l'idée centrale derrière les méthodes Monte Carlo de la chaîne de Markov. Notez que est un paramètre de l'a priori: il est choisi a priori et ne change pas une fois les données observées.

λ_{0}

$\lambda_0$

Xi'an

(3) Lors de l'échantillonnage à partir de la distribution Gamma à l'étape 2 de l'échantillonneur Gibbs, notez que je conditionne les données complètes, générées à l'étape 1 de l'échantillonneur Gibbs. Je "connais" donc toutes les valeurs des , même celles pour lesquelles . Veuillez essayer de comprendre la distinction entre les et les , c'est l'idée fondamentale derrière le principe d'augmentation des données.

x_{i}

$x_i$

x_{i}^{*} = 1

$x_i^*=1$

x_{i}

$x_i$

x_{i}^{*}

$x_i^*$

Xi'an

(1) La partie correspond aux observations groupées.

[{λ + 1} \exp (- λ)]^{n_{1}}

$[\{\lambda+1\}\exp(-\lambda)]^{n_1}$

Xi'an

(2) Il s'agit d'une probabilité conditionnelle (veuillez essayer de faire le calcul par vous-même):

P (x_{i} = 0 | λ, x_{i}^{*} = 1) = P (x_{i} = 0, x_{i}^{*} = 1 | λ) / P (x_{i}^{*} = 1 | λ) = P (x_{i} = 0 | λ) / P (x_{i}^{*} = 1 | λ)

$\mathbb{P}(x_i=0|\lambda,x^∗_i=1)=\mathbb{P}(x_i=0,x^∗_i=1|\lambda)/\mathbb{P}(x^∗_i=1|\lambda)=\mathbb{P}(x_i=0|\lambda)/\mathbb{P}(x^∗_i=1|\lambda)$

Xi'an

(3) L'échantillonnage de Gibbs fonctionne par conditions. Donc à l'étape 2, nous conditionnons sur les nous avons simulés à l'étape 1 (et à l'étape 1 sur le nous avons simulé à l'étape 2). Cela signifie que ces sont connus (même s'ils changeront à la prochaine itération), tout comme la somme. Vous devez absolument lire une introduction à Gibbs si ce point fondamental ne vous est pas clair ...

x_{i}

$x_i$

λ

$\lambda$ $x_i$

Xi'an

MCMC et augmentation des données

Réponses: