Dirichlet postérieur

11

J'ai une question sur la distribution postérieure de Dirichlet. Étant donné une fonction de vraisemblance multinomiale, il est connu que le postérieur est , où est le nombre de fois où nous avons vu observation.Dir(αi+Ni)Nijeth

Que se passe-t-il si nous commençons à diminuer s pour une donnée fixe donnée ? Il semble, d'après la forme du postérieur, qu'après un certain point, les cesseront d'affecter le postérieur. Mais ne serait-il pas juste de dire que lorsque nous faisons des très petits, la masse de probabilité se déplace vers les coins du simplexe et la partie postérieure doit être affectée dans une plus grande mesure? Quelle affirmation est la bonne?ααα

Max
la source

Réponses:

6

Pour moi, la façon la plus utile d'envisager l'effet des paramètres de Dirichlet est l'urne Polya. Imaginez que vous ayez une urne contenant n couleurs différentes, avec de chaque couleur dans l'urne (notez que vous pouvez avoir des fractions de balle). Vous entrez et dessinez une balle, puis remplacez-la par une autre de la même couleur. Vous répétez ensuite cela une quantité infinie de fois et la proportion finale constitue un échantillon de la distribution de Dirichlet. Si vous avez de très petites valeurs pour , il devrait être clair que la balle ajoutée vous pèsera lourdement vers la couleur de ce premier tirage, ce qui explique pourquoi la masse se déplace vers les coins du simplexe. Si vous avez de grands , alors ce premier tirage n'a pas autant d'impact sur la proportion finale.αjeααs

Ce que votre postérieur dit essentiellement, c'est que vous avez commencé avec des boules de couleur , que vous avez fait un tas de tirages et que vous avez dessiné cette couleur fois. Vous pouvez alors imaginer des échantillons de la génération postérieure générés avec le même processus et imaginer les effets que le initial ainsi que les comptes auront sur ces échantillons. Clairement, une petite valeur pour aura moins d'effet sur la partie postérieure.αjejeNjeαNα

Une autre façon de penser est que les paramètres de votre Dirichlet contrôlent la confiance que vous accordez à vos données. Si vous avez de petites valeurs de , vous faites entièrement confiance à vos données. Inversement, si vous avez de grandes valeurs pour , alors vous avez moins confiance en vos données et lisserez un peu plus le postérieur.αα

En résumé, vous avez raison de dire que lorsque vous diminuez les , ils auront moins d'effet sur la partie postérieure, mais en même temps, l'a priori aura la plus grande partie de sa masse aux coins du simplexe.αs

jlund3
la source