Quelle est la relation entre les modèles hiérarchiques, les réseaux de neurones, les modèles graphiques, les réseaux bayésiens?

34

Ils semblent tous représenter des variables aléatoires par les nœuds et une (in) dépendance via les arêtes (éventuellement dirigées). Je suis particulièrement intéressé par le point de vue d'un bayésien.

cespinoza
la source

Réponses:

30

Un réseau bayésien est un type de modèle graphique. L'autre type "grand" de modèle graphique est un champ aléatoire de Markov (MRF). Les modèles graphiques sont utilisés pour l'inférence, l'estimation et en général, pour modéliser le monde.

Le terme modèle hiérarchique est utilisé pour désigner beaucoup de choses dans différents domaines.

Bien que les réseaux de neurones soient accompagnés de "graphiques", ils ne codent généralement pas les informations de dépendance et les nœuds ne représentent pas des variables aléatoires. Les NN sont différents parce qu'ils sont discriminants. Les réseaux de neurones populaires sont utilisés pour la classification et la régression.

Kevin Murphy a une excellente introduction à ces sujets disponible ici .

Carlos
la source
joli lien. thx
suncoolsu
1
Merci d'avoir répondu. Cependant, à l'instar du demandeur d'origine, je me demande également à quel point les modèles de régression multiniveau / hiérarchique s'inscrivent dans cette image. (Hiérarchique est tel que défini ici: en.wikipedia.org/wiki/Hierarchical_linear_modeling )
Yang
mais il existe aussi des modèles génératifs de réseau neuronal. RNN, GAN, etc.
Alexander Reshytko
9

Comme @carlosdc l'a dit, un réseau bayésien est un type de modèle graphique (c'est-à-dire un graphe acyclique dirigé (DAG) dont la structure définit un ensemble de propriétés d'indépendance conditionnelle). Les modèles bayésiens hiérarchiques peuvent également être représentés sous forme de DAG; Les classificateurs hiérarchiques naïfs de Bayes pour les données incertaines , de Bellazzi et al., Constituent une bonne introduction à la classification avec de tels modèles. À propos des modèles hiérarchiques, je pense que de nombreux articles peuvent être récupérés en googlant avec des mots clés appropriés; Par exemple, j'ai trouvé celui-ci:

CH Jackson, NG Best et S. Richardson. Modèles graphiques bayésiens pour la régression sur plusieurs ensembles de données avec différentes variables . Biostatistics (2008) 10 (2): 335-351.

Michael I. Jordan propose un bon tutoriel sur les modèles graphiques , avec diverses applications basées sur le modèle factoriel caché de Markov en bioinformatique ou traitement du langage naturel. Son livre, l' apprentissage dans les modèles graphiques (MIT Press, 1998), est également une valeur de lecture (il y a une application de directeurs généraux à la modélisation structurelle avec BUGS code, pp. 575-598)

chl
la source
0

Les réseaux de neurones ne nécessitent pas de prieur, mais chaque nœud caché (neurones) d'un réseau de neurones peut être considéré comme une CPD - Noisy OR / AND CPD pour un nœud linéaire - Sigmoid CPD pour un nœud logistique

Ainsi, les réseaux de neurones pourraient être vus comme plusieurs couches de nœuds cachés, chacun avec des CPD linéaires / sigmoïdaux

La classe de Koller sur Coursera OU son manuel devrait être une bonne référence pour les types de DPC.

Raghu
la source
Que signifie CPD?
gwr