Pourquoi utiliser une distribution bêta sur le paramètre Bernoulli pour la régression logistique hiérarchique?

Je suis en train de lire l'excellent livre de Kruschke «Faire l'analyse des données bayésiennes». Cependant, le chapitre sur la régression logistique hiérarchique (chapitre 20) est quelque peu déroutant.

La figure 20.2 décrit une régression logistique hiérarchique où le paramètre de Bernoulli est défini comme la fonction linéaire sur les coefficients transformés par une fonction sigmoïde. Cela semble être la manière dont la régression logistique hiérarchique est posée dans la plupart des exemples que j'ai vus dans d'autres sources en ligne également. Par exemple - http://polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

Cependant, lorsque les prédicteurs sont nominaux, il ajoute une couche dans la hiérarchie - le paramètre Bernoulli est désormais tiré d'une distribution bêta (figure 20.5) avec des paramètres déterminés par mu et kappa, où mu est la transformation sigmoïde de la fonction linéaire des coefficients et kappa utilise un gamma prior.

Cela semble raisonnable et analogue à l'exemple de retournement de pièces du chapitre 9, mais je ne vois pas ce qu'avoir des prédicteurs nominaux a à voir avec l'ajout d'une distribution bêta. Pourquoi ne ferait-on pas cela dans le cas des prédicteurs métriques et pourquoi la distribution bêta a-t-elle été ajoutée pour les prédicteurs nominaux?

EDIT: Clarification sur les modèles auxquels je fais référence. Tout d'abord, un modèle de régression logistique avec des prédicteurs métriques (pas de bêta préalable). Ceci est similaire à d'autres exemples de régression logistique hiérarchique, tels que l'exemple de bogues ci-dessus:

y_{i} \sim Bernoulli (μ_{i}) μ_{i} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (M_{β}, T_{β})

$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\$

Ensuite l'exemple avec des prédicteurs nominaux. Voici où je ne comprends pas très bien le rôle du niveau "inférieur" de la hiérarchie (incorporant le résultat logistique dans une version bêta préalable pour un binôme) et pourquoi il devrait être différent de l'exemple métrique.

z_{i} \sim Bin (θ_{i}, N) θ_{i} \sim Beta (a_{j}, b_{j}) a_{j} = μ_{j} κ b_{j} = (1 - μ_{j}) κ κ \sim Γ (S_{κ}, R_{κ}) μ_{j} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (0, τ_{β}) τ_{β} = 1 / σ_{β}^{2} σ_{β}^{2} \sim folded t (T_{t}, D F)

$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$

regression bayesian logistic multilevel-analysis user4733
la source

Réponses:

Les deux modèles que vous comparez ont de nombreuses fonctionnalités étrangères, et je pense que vous pouvez reformuler votre question plus clairement dans le contexte des deux modèles simplifiés suivants:

Modèle 1:

\begin{aligned} y_{i} | μ_{i} & \sim Bern (μ_{i}) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$

Modèle 2:

\begin{aligned} y_{i} | θ_{i} & \sim Bern (θ_{i}) \\ θ_{i} | μ_{i}, κ & \sim Beta (μ_{i} κ, (1 - μ_{i}) κ) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$

Vos questions sont: (1) quel rôle joue la distribution bêta; et connexes, (2) en quoi (le cas échéant) le modèle 2 est-il différent du modèle 1?

$\mu_i$ $\mu_i$

\begin{matrix} p (μ_{i} | y_{i}) \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{matrix}

$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$

μ_{i}

$\mu_i$

\begin{aligned} p (μ_{je} | y_{je}, κ) & \propto \int_{0}^{1} \frac{θ_{je}^{y_{je} + μ_{je} κ - 1} (1 - θ_{je})^{κ (1 - μ_{je}) - y_{je}}}{B (κ μ_{je}, κ (1 - μ_{je}))} ré θ π (μ_{je}) \\ \propto \frac{B (y_{je} + μ_{je} κ, 1 - y_{je} + κ (1 - μ_{je})) π (μ_{je})}{B (κ μ_{je}, κ (1 - μ_{je}))} \\ \propto μ_{je}^{y_{je}} (1 - μ_{je})^{1 - y_{je}} π (μ_{je}) \end{aligned}

$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$

$\theta_i$

jmtroos
la source

La raison pour laquelle le paramètre de Bernoulli est tiré d'une distribution bêta est que la bêta est conjuguée au binôme. L'utilisation d'une distribution préalable conjuguée permet de trouver une solution de forme fermée pour trouver le postérieur.

EDIT: clarifier. Les deux modèles fonctionneront. Même avec MCMC, il est utile d'avoir des antécédents conjugués car cela permet d'utiliser des échantillonneurs spécialisés pour divers types de distributions plus efficaces que les échantillonneurs génériques. Par exemple, voir le manuel d'utilisation JAGS sec. 4.1.1 et sec 4.2.

Jack Tanner
la source

Il n'y a peut-être pas assez de contexte dans le livre de ma question, mais ces analyses sont effectuées avec un échantillonnage de Gibbs, donc une représentation sous forme fermée du postérieur n'est pas nécessaire. Dans l'exemple que j'ai lié, le paramètre bernoulli n'est pas fixé en tant que distribution bêta, mais résulte d'une transformation sigmoïde des prédicteurs linéaires, qui ont des coefficients normalement distribués. C'est aussi ainsi que Kruschke présente un exemple précédent (avec des prédicteurs métriques) dans le chapitre également (le paramètre bernoulli n'est que la transformation sigmoïde de la fonction linéaire avec des coefficients normalement distribués)

user4733

@ user4733 Jack Tanner a raison sur le fait que la bêta est le conjugué avant les échantillons bernoulli. il semble plus qu'une coïncidence qu'il a été choisi. Oui, vous faites peut-être un échantillonnage de Gibbs pour obtenir la distribution postérieure, mais dans un modèle hiérarchique, il y a plus d'un a priori impliqué et il se pourrait que vous mettiez un a priori sur un hyperparamètre (un paramètre pour une famille de distributions a priori. C'est un avant sur le prieur si vous le souhaitez. Dans ce contexte, il peut être pratique d'utiliser un conjugué a priori. Une partie de votre description du livre nous prête à confusion.

Michael R. Chernick

Vous prenez de petits extraits qui créent des lacunes dans notre capacité à comprendre ce qui se passe. Vous devez mieux décrire le modèle et la hiérarchie des prieurs pour nous aider (au moins pour moi)>

Michael R. Chernick

Ajout de quelques descriptions aux modèles hiérarchiques auxquels je fais référence. J'espère que cela aide.

user4733