Récemment, j'ai lu des articles sur le réseau neuronal bayésien (BNN) [Neal, 1992] , [Neal, 2012] , qui donne une relation de probabilité entre l'entrée et la sortie dans un réseau neuronal. La formation d'un tel réseau neuronal se fait par MCMC, qui est différent de l'algorithme traditionnel de rétropropagation.
Ma question est: quel est l'avantage d'utiliser un tel réseau de neurones? Plus précisément, pourriez-vous fournir des exemples qui correspondent mieux à BNN qu'à NN?
la source
Un avantage du BNN par rapport au NN est que vous pouvez calculer automatiquement une erreur associée à vos prédictions lorsque vous traitez des données de cibles inconnues. Avec un BNN, nous faisons maintenant l'inférence bayésienne. Définissons notre prédiction BNN comme , où est la fonction NN, sont vos entrées , sont les paramètres NN, et x, t sont les entrées et les cibles d'entraînement. Cela devrait être compatible avec la syntaxe utilisée par Neal dans les liens fournis par @forecaster. Ensuite, nous pouvons calculer un écart-type de la distribution prédictive postérieure, que j'utiliserais naïvement comme précision sur la prédiction:f¯(x'|x,t)=∫f(x',ω)p(ω|x,t)dω f x′ ω σ(x')=∫[f(x',ω)−f¯(x'|x,t)]2p(ω|x,t)dω−−−−−−−−−−−−−−−−−−−−−−−−−−−√
la source