«Entièrement bayésien» vs «Bayésien»

J'ai appris les statistiques bayésiennes et j'ai souvent lu des articles

"nous adoptons une approche bayésienne"

ou quelque chose de similaire. J'ai aussi remarqué, moins souvent:

"nous adoptons une approche entièrement bayésienne"

(c'est moi qui souligne). Y a-t-il une différence entre ces approches dans un sens pratique ou théorique? FWIW, j'utilise le package MCMCglmmen R au cas où cela serait pertinent.

La terminologie "approche entièrement bayésienne" n'est rien d'autre qu'un moyen d'indiquer que l'on passe d'une approche "partiellement" bayésienne à une "vraie" approche bayésienne, selon le contexte. Ou bien distinguer une approche "pseudo-bayésienne" d'une approche "strictement" bayésienne.

Par exemple, un auteur écrit: "Contrairement à la majorité des autres auteurs intéressés qui ont généralement utilisé une approche empirique Bayes pour la RVM, nous adoptons une approche entièrement bayésienne" car l'approche empirique Bayes est une approche "pseudo-bayésienne". Il existe d'autres approches pseudo-bayésiennes, comme la distribution prédictive bayésienne-fréquentiste (une distribution dont les quantiles correspondent aux limites des intervalles de prédiction fréquentiste).

Dans cette page, plusieurs packages R pour l'inférence bayésienne sont présentés. Le MCMCglmm est présenté comme une "approche entièrement bayésienne" car l'utilisateur doit choisir la distribution préalable, contrairement aux autres packages.

Une autre signification possible du terme «entièrement bayésien» consiste à effectuer une inférence bayésienne dérivée du cadre de la théorie de la décision bayésienne, c'est-à-dire dérivée d'une fonction de perte, car la théorie de la décision bayésienne est un cadre fondamental solide pour l'inférence bayésienne.

Je pense que la terminologie est utilisée pour faire la distinction entre l'approche bayésienne et l'approche empirique bayésienne. Full Bayes utilise un a priori spécifié tandis que Bayes empirique permet d'estimer le a priori à l'aide de données.

"Bayésien" signifie vraiment "Bayésien approximatif".

«Entièrement bayésien» signifie également «bayésien approximatif», mais avec moins d'approximation.

Edit : Clarification.

J'utiliserais «entièrement bayésien» pour signifier que tous les paramètres de nuance avaient été marginalisés de l'analyse, plutôt qu'optimisés (par exemple, estimations MAP). Par exemple, un modèle de processus gaussien, avec des hyper-paramètres réglés pour maximiser la vraisemblance marginale, serait bayésien, mais seulement partiellement, alors que si les hyper-paramètres définissant la fonction de covariance étaient intégrés à l'aide d'un hyper-a priori, ce serait entièrement bayésien .

À titre d'exemple pratique:

Je fais de la modélisation bayésienne en utilisant des splines. Un problème courant avec les splines est la sélection des nœuds. Une possibilité populaire consiste à utiliser un schéma de chaîne de Markov à sauts réversibles Monte Carlo (RJMCMC) où l'on propose d'ajouter, de supprimer ou de déplacer un nœud à chaque itération. Les coefficients des splines sont les estimations des moindres carrés.

Splines de nœuds gratuites

À mon avis, cela ne le rend que `` partiellement bayésien '', car pour une approche `` entièrement bayésienne '', il faudrait placer des valeurs antérieures sur ces coefficients (et de nouveaux coefficients proposés à chaque itération), mais les estimations des moindres carrés ne fonctionnent pas pour le RJMCMC régime, et les choses deviennent beaucoup plus difficiles.

J'ajouterais une caractérisation qui n'a pas été mentionnée jusqu'à présent. Une approche entièrement bayésienne propage "entièrement" l'incertitude dans toutes les quantités inconnues à travers le théorème de Bayes. En revanche, les approches pseudo-bayes comme les bayésiens empiriques ne propagent pas toutes les incertitudes. Par exemple, lors de l'estimation des quantités prédictives postérieures, une approche entièrement bayésienne utiliserait la densité postérieure des paramètres inconnus du modèle pour obtenir la distribution prédictive du paramètre cible. Une approche EB ne tiendrait pas compte de l'incertitude dans toutes les inconnues - par exemple, certains des hyper-paramètres peuvent être réglés sur des valeurs particulières, sous-estimant ainsi l'incertitude globale.