Existe-t-il un domaine dans lequel les réseaux Bayesian surpassent les réseaux de neurones?

Les réseaux de neurones obtiennent les meilleurs résultats dans les tâches de vision par ordinateur (voir MNIST , ILSVRC , Kaggle Galaxy Challenge ). Ils semblent surperformer toutes les autres approches de Computer Vision. Mais il y a aussi d'autres tâches:

• Kaggle Défi Activité Moléculaire
• Régression: prédiction de pluie Kaggle , également la 2e place
• GRASP et Ascenseur 2ème également la troisième place - Identifier les mouvements de la main à partir d' enregistrements EEG

Je ne suis pas trop sûr de l'ASR (reconnaissance vocale automatique) ni de la traduction automatique, mais je pense aussi avoir entendu dire que les réseaux de neurones (récurrents) (commencent à) surpassent les autres approches.

J'apprends actuellement sur les réseaux bayésiens et je me demande dans quels cas ces modèles sont généralement appliqués. Donc ma question est:

Existe-t-il un défi / concurrence (Kaggle), où l'état de l'art est constitué de réseaux bayésiens ou au moins de modèles très similaires?

(Note latérale: j'ai aussi vu des arbres de décision , 2 , 3 , 4 , 5 , 6 , 7 gagner dans plusieurs récents défis Kaggle)

L'un des domaines où les approches bayésiennes sont souvent utilisées est celui où il est nécessaire d'interpréter le système de prévision. Vous ne voulez pas donner aux médecins un réseau de neurones et leur dire qu'il est précis à 95%. Vous souhaitez plutôt expliquer les hypothèses de votre méthode, ainsi que le processus de décision utilisé.

Le même domaine se présente lorsque vous avez une connaissance approfondie du domaine et que vous souhaitez l’utiliser dans le système.

Les réseaux bayésiens et les réseaux de neurones ne sont pas exclusifs les uns des autres. En fait, les réseaux bayésiens ne sont qu'un autre terme pour "modèle graphique dirigé". Ils peuvent être très utiles lors de la conception de réseaux de neurones à fonctions objectives. Yann Lecun a souligné ce point ici: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Un exemple.

Le codeur automatique variationnel et ses dérivés sont des modèles graphiques dirigés de la formeUn réseau de neurones est utilisé pour implémenter et une approximation de son inverse: .p ( x | z ) q ( z | x ) ≈ p ( z | x

Excellentes réponses déjà.

Un domaine auquel je peux penser et sur lequel je travaille beaucoup est le domaine de l' analyse client .

Je dois comprendre et prédire les mouvements et les motivations des clients afin d'informer et de prévenir à la fois le service client, le marketing et les équipes de croissance.

Donc, ici, les réseaux de neurones font un très bon travail dans la prévision du taux de désabonnement, etc. Mais, j’ai trouvé et préfère le style de réseau bayésien, et voici les raisons de le préférer:

1. Les clients ont toujours un motif. Ils ont toujours une raison d'agir. Et cette raison serait quelque chose que mon équipe a fait pour eux, ou ils ont appris par eux-mêmes. Donc, tout a un précédent ici, et en fait cette raison est très importante car elle alimente l'essentiel de la décision prise par le client.
2. Chaque mouvement du client et des équipes de croissance dans l'entonnoir marketing / vente est un effet à effet. La connaissance préalable est donc essentielle pour convertir un prospect potentiel en client.

Le concept de prior est donc très important pour l’analyse client, ce qui rend le concept de réseaux bayésiens très important pour ce domaine.

Apprentissage suggéré:

Méthodes bayésiennes pour les réseaux de neurones

Réseaux Bayésiens en Business Analytics

Parfois, il est aussi important de changer le résultat que de le prédire.

Un réseau de neurones disposant de suffisamment de données d'entraînement aura tendance à mieux prédire le résultat, mais une fois que vous pouvez prédire le résultat, vous pouvez alors prédire l'effet de la modification des caractéristiques d'entrée sur le résultat.

Un exemple tiré de la vie réelle, savoir qu’une personne est susceptible d’être victime d’une crise cardiaque, est utile, mais pouvoir lui dire que s’il arrête de faire XX, le risque serait réduit de 30%, ce qui serait beaucoup plus bénéfique.

De même, pour fidéliser la clientèle, savoir pourquoi les clients cessent de faire des achats avec vous vaut autant que de prédire les clients susceptibles de cesser de faire des achats avec vous.

De même, un réseau bayésien plus simple qui prédit moins bien mais qui conduit à davantage de mesures peut souvent être meilleur qu’un réseau bayésien plus «correct».

Le plus gros avantage des réseaux bayésiens par rapport aux réseaux de neurones est qu'ils peuvent être utilisés pour l'inférence causale. Cette branche est d’une importance fondamentale pour les statistiques et l’apprentissage automatique et Judea Pearl a remporté le prix Turing pour cette recherche.

Les réseaux bayésiens pourraient surperformer les réseaux de neurones dans un environnement de données réduit. Si les informations préalables sont correctement gérées via la structure du réseau, les a priori et d’autres hyperparamètres, elles pourraient avoir un avantage sur les réseaux de neurones. Les réseaux de neurones, en particulier ceux comportant plus de couches, sont très connus pour avoir faim de données. Presque par définition, de nombreuses données sont nécessaires pour bien les former.

J'ai posté ce lien sur Reddit et reçu beaucoup de commentaires. Certains ont posté leurs réponses ici, d'autres pas. Cette réponse devrait résumer le post de reddit. (J'ai créé le wiki de la communauté pour ne pas avoir de points)

• Le codage variationnel Bayes automatique est une combinaison d'un réseau Bayes et d'un réseau neuronal. Le document Les réseaux de neurones convolutionnels bayésiens avec l’inférence variationnelle approximative de Bernoulli semble aller dans la même direction.
• Le décrochage: un moyen simple de prévenir la suralimentation des réseaux de neurones est un exemple où les réseaux de neurones Bayésiens surpassent leur approche de décrochage (voir la section 6.4 "Comparaison avec les réseaux de neurones Bayésiens")
• L’apprentissage conceptuel au niveau humain par l’induction probabiliste de programme est un document "sur un réseau réseau bayésien qui classe de manière ponctuelle de manière plus performante que les réseaux neuronaux" (selon trashacount12345 - je n’ai pas vérifié cela à ce jour).
• Yann LeCun a écrit un article sur Google+ dans lequel il affirme que les réseaux de neurones et les modèles graphiques probabilisants ne sont pas des concepts orthogonaux.

Les réseaux bayésiens sont préférés pour l'interprétation du génome. Voir, par exemple, cette thèse sur les méthodes informatiques d’interprétation du génome.

J'ai fait un petit exemple pour cette fois. À partir de cela, je pense que les réseaux bayésiens sont préférables si vous souhaitez capturer une distribution mais que votre jeu de formation d’entrée ne couvre pas bien la distribution. Dans de tels cas, même un réseau neuronal qui généraliserait bien ne serait pas capable de reconstruire la distribution.

Je ne suis pas du tout d'accord avec le fait que les réseaux de neurones font bien les autres apprenants. En fait, les réseaux neuronaux se portent plutôt mal par rapport aux autres méthodes. Il n’existe pas non plus de méthodologie, malgré quelques conseils sur le choix des paramètres, ce qui est souvent fait par hasard. Il y a des types qui discutent aussi au hasard sur les forums de la façon dont les réseaux neuronaux sont si bons, non pas parce qu'ils ont des preuves à ce sujet, mais parce qu'ils sont attirés par le mot fantaisie et mot à la mode "neural". Ils sont également très instables, avez-vous essayé un réseau de neurones à comparer avec xgboost? Je ne vais pas essayer un réseau de neurones tant qu'il ne sera pas conscient de lui-même .Alors jusque-là, un réseau de neurones heureux :)