modèles bayésiens hiérarchiques vs Bayes empiriques

12

Considérez-vous le HBM vs EB comme deux alternatives dans lesquelles les hyperparamètres sont "dans le jeu" d'être échantillonnés / estimés / etc.? Il y a clairement un lien entre ces deux.

Considérez-vous HBM plus "pleinement bayésien" qu'EB? Y a-t-il un endroit où je peux voir quelles sont les différences entre le fait d'être "pleinement bayésien" et les autres alternatives?

Merci.

bayesian empirical-bayes singelton
la source
1
Pour une discussion sur ce que signifient "entièrement bayésien" et "bayésien empirique", voir les réponses dans "" Entièrement bayésien "vs" Bayésien "" .
merci Procrastinator. J'aimerais toujours entendre une réponse sur la relation avec les modèles bayésiens hiérarchiques, si possible.
singelton
1
Vous pouvez le trouver dans l'entrée wikipedia Empirical Bayes method : "empirical Bayes may be consider as a approximation to a full Bayesian treatment of a hierarchical model where the parameters at the upper level of the hierarchy are set to their most most values, instead of en cours d'intégration ".

Réponses:

10

Je dirais que HBM est certainement "plus bayésien" qu'EB, car la marginalisation est une approche plus bayésienne que l'optimisation. Essentiellement, il me semble qu'EB ignore l'incertitude des hyperparamètres, alors que HBM tente de l'inclure dans l'analyse. Je suppose que le HMB est une bonne idée là où il y a peu de données et donc une incertitude significative dans les hyper-paramètres, qui doivent être pris en compte. D'un autre côté, pour les grands ensembles de données, EB devient plus attrayant car il est généralement moins coûteux en termes de calcul et le volume de données signifie souvent que les résultats sont beaucoup moins sensibles aux réglages d'hyper-paramètre.

J'ai travaillé sur des classificateurs de processus gaussiens et, assez souvent, l'optimisation des hyper-paramètres pour maximiser la probabilité marginale entraîne un sur-ajustement du ML et donc une dégradation significative des performances de généralisation. Je soupçonne que dans ces cas, un traitement HBM complet serait plus fiable, mais aussi beaucoup plus cher.

Dikran Marsupial
la source
6
+1 pour EB ignore l'incertitude des hyper-paramètres . De plus, les fondamentalistes bayésiens considèrent EB anti-bayésien parce que l'utilisation des données pour estimer l'a priori est blasphématoire .
4
Évidemment, je ne suis pas un Bayésien de fond! HBM me semble être la bonne chose à faire, à condition que ce soit réellement faisable sur le plan informatique, à la fin de la journée, vous devez être pragmatique dans une certaine mesure (après avoir acheté le plus grand ordinateur disponible; o).
Dikran Marsupial