Différence entre le réseau de Bayes, le réseau de neurones, l'arbre de décision et les réseaux de Petri

30

Quelle est la différence entre le réseau neuronal , le réseau bayésien , l' arbre de décision et les réseaux de Petri , même s'ils sont tous des modèles graphiques et décrivent visuellement la relation de cause à effet.

Ria George
la source
1
Notez qu'il existe également des réseaux neuronaux bayésiens (juste pour être déroutant), qui ne sont fondamentalement qu'un réseau neuronal avec un traitement bayésien des paramètres, pour autant que je puisse voir.
naught101

Réponses:

27

Wow, quelle grande question! La version courte de la réponse est que ce n'est pas parce que vous pouvez représenter deux modèles en utilisant des représentations visuelles schématiquement similaires qu'ils sont même liés à distance structurellement, fonctionnellement ou philosophiquement. Je ne connais pas FCM ou NF, mais je peux parler un peu aux autres.

Réseau Bayésien

Dans un réseau bayésien, le graphique représente les dépendances conditionnelles des différentes variables du modèle. Chaque nœud représente une variable et chaque bord dirigé représente une relation conditionnelle. Essentiellement, le modèle graphique est une visualisation de la règle de chaîne.

Réseau neuronal

Dans un réseau neuronal, chaque nœud est un "neurone" simulé. Le neurone est essentiellement activé ou désactivé, et son activation est déterminée par une combinaison linéaire des valeurs de chaque sortie dans la "couche" précédente du réseau.

Arbre de décision

Disons que nous utilisons un arbre de décision pour la classification. L'arbre nous fournit essentiellement un organigramme décrivant comment classer une observation. Nous commençons à la racine de l'arbre et la feuille où nous nous retrouvons détermine la classification que nous prédisons.

Comme vous pouvez le voir, ces trois modèles n'ont vraiment rien à voir entre eux, en plus d'être représentables avec des boîtes et des flèches.

David Marx
la source
1
Hormis la théorie, l'arbre de décision ne gère-t-il pas également les dépendances entre les variables en crachant des données? Je suis nouveau dans le domaine de l'apprentissage automatique et je suis plus intéressé à comprendre intuitivement quel algo utiliser dans quel scénario. Pour moi, il semble que vous utiliseriez le réseau bayésien lorsque vous connaissez la relation exacte entre les variables alors que vous utiliseriez l'arbre de décision lorsque vous devinez que certaines variables peuvent dépendre d'autres mais ne savent pas exactement lesquelles. J'aimerais savoir si cela semble correct ou si l'applicabilité du réseau bayésien et des arbres de décision peut être expliquée plus en détail.
Deepak Agarwal
Je pense vraiment que la réponse devrait pointer à la fois les différences et les similitudes pour esquisser la situation dans son ensemble, affirmant que "ces trois modèles n'ont vraiment rien à voir entre eux" est tout simplement faux. L'arbre de décision et les réseaux de neurones adoptent la même approche discriminatoire que l'approche générative du BN. Alors que les deux autres représentent des fonctions, les réseaux bayésiens représentent des fonctions généralisées (distributions), ...
Lejafar
1
La distinction descriminative et générative que vous faites ici est fausse. Les réseaux de neurones peuvent être utilisés pour construire des modèles génératifs. Prenons l'exemple des GAN. Ma réponse est suffisante car la question se résume à "ces modèles sont représentés visuellement de manière similaire, cela signifie-t-il qu'ils sont structurellement similaires?" et j'ai expliqué comment ces représentations graphiques encodent des informations très différentes.
David Marx
1
N'hésitez pas à ajouter votre propre réponse.
David Marx
2
@Lejafar, n'utilisez pas de modifications pour modifier le contenu de la réponse de quelqu'un d'autre. Si vous n'êtes pas d'accord avec une réponse, laissez un commentaire, réduisez la note ou publiez votre propre réponse.
gung - Rétablir Monica
5

Il est facile de montrer (voir le cours de Daphne Koller ) que la régression logistique est une version restreinte des champs aléatoires conditionnels, qui sont des modèles graphiques non dirigés, tandis que les réseaux bayésiens sont des modèles graphiques dirigés. Ensuite, la régression logistique pourrait également être considérée comme un perceptron monocouche. C'est le seul lien (qui est très lâche) qui, je pense, pourrait être établi entre les réseaux bayésiens et les réseaux neuronaux.

Je n'ai pas encore trouvé de lien entre les autres concepts que vous avez demandés.

Octavia-Maria Șulea
la source
2
Bienvenue sur le site, et merci pour cette contribution. Pouvez-vous expliquer comment il est facile de voir cela? À l'heure actuelle, ce n'est qu'une affirmation qui peut ne pas être évidente pour les gens. Les informations peuvent être sur le lien, mais nous voulons que ce fil reste informatif même après la mort du lien.
gung - Réintégrer Monica
Salut merci! Je ne sais pas à quel point l'explication devrait être fine (il faut au moins une demi-heure à Daphné pour préparer la preuve) et ce n'est pas particulièrement frais dans mon esprit non plus, mais l'idée générale est que le modèle logistique est une version simplifiée de Gibbs Distribution, qui est à son tour la base des CRF.
Octavia-Maria Șulea
1
Que signifie CRF? Crf = champs aléatoires conditionnels?
Ted Taylor de Life
2

Excellente réponse de @David Marx. Je me demandais quelle est la différence entre l'arbre de classification / régression et le réseau bayésien: l'un s'appuie sur l'entropie pour classer un résultat en classes basées sur différents prédicteurs et l'autre construit un réseau graphique utilisant l'indépendance conditionnelle et des estimations de paramètres probabilistes.

Je pense que la méthodologie de construction du réseau bayésien est différente de celle de l'arbre de régression / décision. L'algorithme d'apprentissage structurel, les objectifs d'utilisation des modèles ainsi que la capacité inférentielle des modèles sont différents.

L'approche basée sur les scores et basée sur les contraintes peut être comprise avec quelques parallèles établis avec les critères de gain d'informations dans les familles d'arbres de décision.

KarthikS
la source
1

Nous essayons d'abord d'indiquer la nature du problème qui a été résolu par ces méthodes. Si un problème est simple, Polynomial ou NP Complete, nous avons prêt à brancher des algorithmes qui pourraient fournir une réponse déterministe, par simple recombinaison des axiomes selon des règles logiques. Cependant, si ce n'est pas le cas, il faudrait s'appuyer sur une méthode de raisonnement, dans laquelle, nous essayons de traiter le problème comme étant hétérogène et de le brancher sur un réseau, les nœuds étant des évaluations et les arêtes étant des voies entre les composants .

Dans tout type de raisonnement basé sur un réseau, nous ne raisonnons pas de manière déductive, en utilisant des généralisations et des combinaisons abstraites, selon des règles logiques dans un flux linéaire, mais travaillons plutôt sur le problème basé sur la propagation du raisonnement dans différentes directions, de sorte que nous résolvons le problème un nœud à la fois, ouvert à des améliorations sur la découverte de nouveaux faits concernant n'importe quel nœud à l'avenir. Voyons maintenant comment chacune de ces techniques aborde cette méthode de résolution de problèmes à sa manière.

Réseau de neurones: Le réseau de neurones est une boîte noire, où l'on pense (ne pourrait jamais être vérifié de l'extérieur du système) que les connexions entre les nœuds de simplet sont formées et accentuées par des renforts externes répétés. Il aborde le problème dans un paradigme Connectionsitic . Le problème est probablement résolu, mais il y a peu d'explication. Le réseau neuronal est désormais largement utilisé en raison de sa capacité à produire des résultats rapides, si le problème d'explicabilité est ignoré.

Réseau bayésien: Le réseau bayésien est un graphe acyclique dirigé, qui ressemble plus à l'organigramme, seulement que l'organigramme peut avoir des boucles cycliques. Le réseau bayésien, contrairement à l'organigramme, peut avoir plusieurs points de départ. Il retrace essentiellement la propagation d'événements à travers de multiples points ambigus, où l'événement diverge de manière probabiliste entre les voies. De toute évidence, en tout point donné du réseau, la probabilité que ce nœud soit visité dépend de la probabilité conjointe des nœuds précédents. Le réseau bayésien est différent du réseau neuronal en ce qu'il est un raisonnement explicite, même s'il est probabiliste et pourrait donc avoir plusieurs états stables en fonction de chaque étape revisitée et modifiée dans les valeurs légales, tout comme un algorithme. C'est un moyen robuste de raisonner de manière probabiliste, mais cela implique le codage des probabilités,

Arbres de décision: L'arbre de décision est à nouveau un réseau, qui ressemble plus à un organigramme, qui est plus proche du réseau bayésien que du réseau neuronal. Chaque nœud a plus d'intelligence que le réseau neuronal et la ramification peut être décidée par des évaluations mathématiques ou probabilistes. Les décisions sont des évaluations simples basées sur les distributions de fréquence des événements probables, où la décision est probabiliste. Cependant, dans les réseaux bayésiens, la décision est basée sur la distribution de «preuves» qui indiquent qu'un événement s'est produit, plutôt que sur l'observation directe de l'événement lui-même.

Un exemple Par exemple, si nous devions prédire le mouvement d'un tigre mangeur d'hommes à travers certains villages himalayens qui se trouve être au bord d'une réserve de tigres, nous pourrions le modéliser sur l'une ou l'autre approche comme suit:

Dans un arbre de décision, nous nous baserions sur des estimations d'experts pour savoir si un tigre aurait le choix entre des champs ouverts ou des fleuves choisirait ce dernier. Dans un réseau bayésien, nous suivons le tigre par des marques de carlin, mais raisonnons d'une manière qui reconnaît que ces marques de carlin pourraient avoir été celles d'un autre tigre de taille similaire patrouillant régulièrement sur son territoire. Si nous voulons utiliser un réseau neuronal, nous devrons former le modèle à plusieurs reprises en utilisant diverses particularités comportementales du tigre en général, telles que sa préférence pour nager, la préférence des zones couvertes par rapport aux zones ouvertes, son évitement des habitations humaines afin de permettre au réseau de raisonner généralement sur le cours que pourrait prendre le tigre.

premganz
la source
0

Concernant les modèles graphiques, Petri Net formalise un comportement système; en ce qu'il diffère fortement des autres modèles mentionnés, qui concernent tous la manière dont un jugement est formé.

Il convient de noter que la plupart des noms cités désignent des concepts d'IA assez étendus, qui fusionnent souvent: par exemple, vous pouvez utiliser un réseau neuronal pour créer un arbre de décision, tandis que le réseau neuronal lui-même, comme nous l'avons vu précédemment, peut dépendre du bayésien inférence.

user46748
la source
-3

C'est une bonne question et je me pose la même question. Il existe plus de deux types de réseaux de neurones, et il semble que la réponse précédente concernait le type compétitif, tandis que le réseau bayésien semble avoir des similitudes avec le type à action directe, à rétropropagation (FFBP) et non pas le type compétitif. En fait, je dirais que le réseau bayésien est une généralisation du FFBP. Le FFBP est donc un type de réseau bayésien et fonctionne de manière similaire.

user73493
la source