Lissage de Laplace et Dirichlet prior

11

Sur l' article wikipedia du lissage de Laplace (ou lissage additif), il est dit que d'un point de vue bayésien,

cela correspond à la valeur attendue de la distribution postérieure, en utilisant une distribution de Dirichlet symétrique avec le paramètre comme priorité. $\alpha$

Je suis perplexe quant à la réalité de cela. Quelqu'un pourrait-il m'aider à comprendre comment ces deux choses sont équivalentes?

Merci!

bayesian smoothing dirichlet-distribution laplace-smoothing DanielX2010
la source

10

Sûr. Il s'agit essentiellement de l'observation que la distribution de Dirichlet est un conjugué préalable à la distribution multinomiale. Cela signifie qu'ils ont la même forme fonctionnelle. L'article le mentionne, mais je soulignerai simplement que cela découle du modèle d'échantillonnage multinomial. Donc, pour y aller ...

L'observation concerne le postérieur, introduisons donc quelques données, , qui sont des comptes de éléments distincts. Nous observons échantillons au total. Nous supposerons que est tiré d'une distribution inconnue (sur laquelle nous mettrons un avant sur le -simplex). $x$ $K$ $N = \sum_{i=1}^K x_i$ $x$ $\pi$ $\mathrm{Dir}(\alpha)$ $K$

La probabilité postérieure de étant donnée et les données sont $\pi$ $\alpha$ $x$

p (π | x, α) = p (x | π) p (π | α)

$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$

La vraisemblance, , est la distribution multinomiale. Maintenant, écrivons les pdf: $p(x|\pi)$

p (x | π) = \frac{N!}{x_{1}! \dots x_{k}!} π_{1}^{x_{1}} \dots π_{k}^{x_{k}}

$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$

et

p (π | α) = \frac{1}{B (α)} \prod_{i = 1}^{K} π_{i}^{α - 1}

$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$

où . En multipliant, nous constatons que, $\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

p (π | α, x) = p (x | π) p (π | α) \propto \prod_{i = 1}^{K} π_{i}^{x_{i} + α - 1} .

$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$

En d'autres termes, le postérieur est également Dirichlet. La question portait sur la moyenne postérieure. Puisque le postérieur est Dirichlet, nous pouvons appliquer la formule de la moyenne d'un Dirichlet pour constater que,

E [π_{i} | α, x] = \frac{x_{i} + α}{N + K α} .

$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$

J'espère que cela t'aides!

oui
la source

p (π | α, x) = p (x | π) p (π | α) / p (x | α),

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)/p(x | \alpha),$ n'est-il donc pas faux de dire queIls sont proportionnels par rapport à , mais écrire une égalité n'est pas vrai je pense.

p (π | α, x) = p (x | π) p (π | α) ?

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)?$

π

$\pi$

michal

J'étais confus à ce sujet depuis longtemps, et je veux partager ma réalisation. Ces gens qui motivent le lissage de Laplace par Dirichlet utilisent la moyenne postérieure, pas la MAP. Pour simplifier, supposons la distribution bêta (cas le plus simple de Dirichlet) La moyenne postérieure est alors que la MAP est . Donc, si quelqu'un dit que correspond à ajouter 1 au numérateur et 2 au dénominateur, c'est parce qu'ils utilisent la moyenne postérieure.

\frac{α + n_{s u c c e s s}}{α + β + n_{s u c c e s s} + n_{f a i l u r e s}}

$\frac{\alpha + n_{success}}{\alpha + \beta + n_{success} + n_{failures}}$

\frac{α + n_{s u c c e s s} - 1}{α + β + n_{s u c c e s s} + n_{f a i l u r e s} - 2}

$\frac{\alpha + n_{success} - 1}{\alpha + \beta + n_{success} + n_{failures} - 2}$

α = β = 1

$\alpha = \beta = 1$

RMurphy

0

En guise de remarque, je voudrais également ajouter un autre point à la dérivation ci-dessus, qui ne concerne pas vraiment la question principale. Cependant, en parlant des a priori de Dirichlet sur la distribution multinomiale, j'ai pensé qu'il valait la peine de mentionner que ce serait la forme de la fonction de vraisemblance si nous prenions les probabilités comme variables de nuisance.

Comme il est correctement souligné par sydeulissie, le est proportionnel à . Maintenant, ici, je voudrais calculer . $p(\pi | \alpha, x)$ $\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$ $p(x|\alpha)$

p (x | α) = \int \prod_{i = 1}^{K} p (x | π_{i}, α) p (π | α) d π_{1} d π_{2} . . . d π_{K}

$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$

En utilisant une identité intégrale pour les fonctions gamma, nous avons:

p (x | α) = \frac{Γ (K α)}{Γ (N + K α)} \prod_{i = 1}^{K} \frac{Γ (x_{i} + α)}{Γ (α)}

$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$

La dérivation ci-dessus de la probabilité de données catégoriques propose une manière plus robuste de traiter ces données pour les cas où la taille de l'échantillon n'est pas assez grande. $N$

omidi
la source

Lissage de Laplace et Dirichlet prior

Réponses: