Pourquoi le processus de Dirichlet ne convient-il pas aux applications en paramètres non paramétriques bayésiens?

La nature discrète du DP le rend impropre à des applications générales dans les paramètres non paramétriques bayésiens, mais il est bien adapté au problème de placement des a priori sur les composants du mélange dans la modélisation des mélanges.

Cette citation est extraite des processus hiérarchiques de Dirichlet (Teh, et al, (2006) ) et je cherchais une explication sur ce que cela signifie. Le terme non paramétrique bayésien semble être un terme trop vague pour que je puisse comprendre à quoi l'auteur fait référence. $^{[1]}$

${[1]}$ Teh, YW, Jordan, MI, Beal, MJ, Blei, DM (2006): "Hierarchical Dirichlet Processes". Journal de l'American Statistical Association , 101, pp. 1566-1581.

machine-learning mcmc dirichlet-process ankit
la source

Je crois que la description «discrète» se réfère au fait que les tirages d'un processus de Dirichlet sont discrets avec une probabilité (elle découle de la représentation de la rupture de bâton du DP).

ankit

Vous allez devoir élaborer. Si je casse un bâton en morceaux d'une manière ou d'une autre, les distributions des longueurs de bâton sont continues.

k

$k$

Glen_b -Reinstate Monica

@Glen_b: Votre intuition correspond à la mienne, mais l'ankit papier lié à dit "qui puise dans un DP sont discrets (avec une probabilité)". Je ne peux pas suivre leur argument, mais je respecte les auteurs.

David J. Harris

@ DavidJ.Harris oui, en lisant à ce sujet, il semble - de manière incohérente avec la façon dont le mot `` processus '' est plus généralement associé aux distributions - faire référence à ce que j'aurais appelé quelque chose comme un `` processus multinomial '' ou `` multinomial '' mélange », car la sortie est la catégorie. (Ce schéma de dénomination serait un peu comme faire référence aux temps inter-événements comme un `` processus de Poisson '', plutôt que le décompte du nombre d'événements comme c'est normalement le cas, ou peut-être faire référence à un processus de Bernoulli comme un `` processus bêta '' car il y avait un bêta avant sur la probabilité de Bernoulli.)

Glen_b -Reinstate Monica

Cela dépend si vous pensez qu'un nombre "infiniment comptable" de nombres réels est représentatif des nombres réels. J'aurais pensé que oui, fournissant ainsi un argument contre la revendication ci-dessus.

probabilitéislogic

Réponses:

Avec la probabilité un, les réalisations d'un processus de Dirichlet sont des mesures de probabilité discrètes. Une preuve rigoureuse se trouve dans

Blackwell, D. (1973). "Discreteness of Ferguson Selections", The Annals of Statistics, 1 (2): 356–358.

La représentation de rupture de bâton du processus de Dirichlet rend cette propriété transparente.

Dessinez indépendant , pour . $B_i\sim\mathrm{Beta}(1,c)$ $i\geq 1$
Définissez et , pour . $P_1=B_1$ $P_i=B_i \prod_{j=1}^{i-1}(1-B_j)$ $i>1$
Dessinez indépendant , pour . $Y_i\sim F$ $i\geq 1$
Sethuraman a prouvé que la fonction de distribution discrète est une réalisation de un processus de Dirichlet avec le paramètre de concentration et centrée à la fonction de répartition .
$G (t, ω) = \sum_{i = 1}^{\infty} P_{i} (ω) I_{[Y_{i} (ω), \infty)} (t)$ $G(t,\omega)=\sum_{i=1}^\infty P_i(\omega) I_{[Y_i(\omega),\infty)}(t)$ $c$ $F$

L' espérance de ce processus de Dirichlet est simplement , et cela peut être la fonction de distribution d'une variable aléatoire continue. Mais, si les variables aléatoires forment un échantillon aléatoire de ce processus de Dirichlet, l'attente postérieure est une mesure de probabilité qui attribue une masse positive à chaque point d'échantillon. $F$ $X_1,\dots,X_n$

En ce qui concerne la question d'origine, vous pouvez voir que le processus de Dirichlet simple peut ne pas convenir pour modéliser certains problèmes de paramètres non paramétriques bayésiens, comme le problème de l'estimation de la densité bayésienne, mais des extensions appropriées du processus de Dirichlet sont disponibles pour gérer ces cas.

Zen
la source

Pourquoi est-il mauvais d'estimer une densité par une distribution discrète? Cela signifie-t-il que la quadrature est également mauvaise et inappropriée?

probabilitéislogic

Je n'ai pas dit que c'était "mauvais". Mais supposons que vous ayez de bonnes informations préalables sur la régularité de la densité aléatoire. Vous ne pouvez pas utiliser ces informations préalables si vous modélisez avec le DP simple. C'est le genre de chose que j'ai en tête.

Zen

Je ne suis pas d'accord - la régularité peut être contrôlée par le choix du paramètre de concentration et par la forme de la distribution de base.

probabilités

Si vous modélisez avec le DP d'origine, en utilisant n'importe quelle mesure de base, la distribution postérieure n'a jamais de densité par rapport à la mesure de Lebesgue.

Zen

Vous confondez avoir une densité avec être lisse - une distribution discrète n'a pas non plus de densité, mais cela ne signifie pas qu'elle n'est pas lisse - par exemple, un binôme (n, p) avec n grand est fondamentalement aussi lisse qu'une normale pdf

probabilitéislogic