Entropie bayésienne vs maximale

8

Supposons que la quantité que nous voulons inférer soit une distribution de probabilité. Tout ce que nous savons, c'est que la distribution provient d'un ensemble déterminé, disons, par certains de ses moments et nous avons un antérieur .EQ

Le principe d'entropie maximale (MEP) dit que le qui a le moins d'entropie relative de (c'est-à-dire ) est la meilleure à sélectionner. Alors que la règle de sélection bayésienne a un processus de sélection du postérieur étant donné le prieur qui est soutenu par le théorème de Bayes.P⋆∈EQP⋆=argminP∈ED(P‖Q)

Ma question est de savoir s'il existe un lien entre ces deux méthodes d'inférence (c'est-à-dire si les deux méthodes s'appliquent au même problème et ont quelque chose en commun)? Ou si dans l'inférence bayésienne le cadre est complètement différent du cadre mentionné ci-dessus? Ou est-ce que je n'ai pas de sens?!

bayesian estimation maximum-entropy Ashok
la source
Q est-il une distribution sur E?
Simon Byrne
Voulez-vous dire, est-ce que Q∈E ? Pas besoin.
Ashok
1
Vous pouvez trouver cette question utile: stats.stackexchange.com/q/4978/495
Simon Byrne
2
Robin, le fait est que je ne connais pas complètement la méthode d'inférence bayésienne. Sinon, cette question ne me serait même pas posée. Maintenant, j'essaie de trouver le temps d'apprendre le bayésien. Tout ce que je savais (grosso modo), c'est qu'en utilisant le théorème de Bayes si des informations préalables et des informations supplémentaires sont fournies, on peut mettre à jour les probabilités. Je ne le sais pas rigoureusement. Alors que je connais rigoureusement MaxEnt ce que cela signifie. Si c'est possible, veuillez m'expliquer ou me conduire (c.-à-d. Indiquer une référence) pour apprendre rigoureusement l'inférence bayésienne. Je vous remercie.
Ashok
1
@Ashok le plus souvent, la connexion que vous recherchez découle de la description des ensembles convexes avec une mesure de probabilité sur ses points extrêmes (théorie du Choquet).
Robin Girard

Réponses:

6

Cela peut arriver un peu tard, mais la question doit être reformulée: comme défini par Jaynes , l'entropie maximale est un moyen de construire une distribution antérieure qui (a) satisfait aux contraintes imposées par et (b) a l'entropie maximale, par rapport à une mesure de référence dans le cas continu: Ainsi, l'entropie maximale (de Jaynes) fait clairement partie de la boîte à outils bayésienne. Et l'a priori d'entropie maximale ne fournit pas la distribution a priori la plus proche du vrai a priori, comme le suggère la question d' Ashok .E

∫−log⁡[π(θ)]dμ(θ).

L'inférence bayésienne sur une distribution est un problème tout à fait différent, géré par les non paramétriques bayésiens (voir, par exemple, ce livre récent de Hjort et al.). Cela nécessite d'avoir des observations de , ce qui ne semble pas être le cadre de la question actuelle ...QQ

Xi'an
la source