Sélection hyperparamétrique entièrement bayésienne en GPML

8

Est-il possible d'effectuer une sélection approximative entièrement bayésienne (1) d'hyper-paramètres (par exemple l'échelle de covariance) avec le code GPML, au lieu de maximiser la vraisemblance marginale (2)? Je pense que l'utilisation de méthodes MCMC pour résoudre les intégrales impliquant des hyper-paramètres avant devrait conduire à de meilleurs résultats en cas de sur-ajustement. À ma connaissance, le framework GPML n'inclut pas ces calculs, mais peut-être existe-t-il d'autres codes tiers.

(1) Sec. 5.2, Ch. 5 in Gaussian Process for Machine Learning, Rasmussen & Williams, 2006

(2) Section "Régression" dans la documentation GPML

bayesian model-selection gaussian-process hyperparameter Emile
la source
Connaissez-vous INLA? peut être ce que vous recherchez.
Probabilislogic
Cela n'ajoute rien à votre question, mais avez-vous réussi à trouver un travail utile dans ce domaine de la mise à l'échelle des longueurs? Je déteste absolument l'idée d'optimiser simplement numériquement les échelles de longueur d'un GP
sachinruk
(+1) Grande question. Ce n'est pas un MCMC, mais il existe des packages tiers qui permettent une marginalisation partielle des hyperparamètres avec GPML via l'approximation de Laplace, si cela vous intéresse. Voir cette question et les réponses associées.
lacerbi

Réponses:

1

Il existe un autre package pour l'apprentissage automatique utilisant des processus gaussiens appelé GPstuff qui a tout à mon avis. Vous pouvez utiliser MCMC, l'intégration sur une grille, etc. pour marginaliser vos hyperparamètres.

NB Dans la documentation, ils appellent les hyperparamètres simplement des paramètres.

Mehrdad
la source