Différence entre le réseau de Bayes, le réseau de neurones, l'arbre de décision et les réseaux de Petri

Quelle est la différence entre le réseau neuronal , le réseau bayésien , l' arbre de décision et les réseaux de Petri , même s'ils sont tous des modèles graphiques et décrivent visuellement la relation de cause à effet.

Wow, quelle grande question! La version courte de la réponse est que ce n'est pas parce que vous pouvez représenter deux modèles en utilisant des représentations visuelles schématiquement similaires qu'ils sont même liés à distance structurellement, fonctionnellement ou philosophiquement. Je ne connais pas FCM ou NF, mais je peux parler un peu aux autres.

Réseau Bayésien

Dans un réseau bayésien, le graphique représente les dépendances conditionnelles des différentes variables du modèle. Chaque nœud représente une variable et chaque bord dirigé représente une relation conditionnelle. Essentiellement, le modèle graphique est une visualisation de la règle de chaîne.

Réseau neuronal

Dans un réseau neuronal, chaque nœud est un "neurone" simulé. Le neurone est essentiellement activé ou désactivé, et son activation est déterminée par une combinaison linéaire des valeurs de chaque sortie dans la "couche" précédente du réseau.

Arbre de décision

Disons que nous utilisons un arbre de décision pour la classification. L'arbre nous fournit essentiellement un organigramme décrivant comment classer une observation. Nous commençons à la racine de l'arbre et la feuille où nous nous retrouvons détermine la classification que nous prédisons.

Comme vous pouvez le voir, ces trois modèles n'ont vraiment rien à voir entre eux, en plus d'être représentables avec des boîtes et des flèches.

Il est facile de montrer (voir le cours de Daphne Koller ) que la régression logistique est une version restreinte des champs aléatoires conditionnels, qui sont des modèles graphiques non dirigés, tandis que les réseaux bayésiens sont des modèles graphiques dirigés. Ensuite, la régression logistique pourrait également être considérée comme un perceptron monocouche. C'est le seul lien (qui est très lâche) qui, je pense, pourrait être établi entre les réseaux bayésiens et les réseaux neuronaux.

Je n'ai pas encore trouvé de lien entre les autres concepts que vous avez demandés.

Excellente réponse de @David Marx. Je me demandais quelle est la différence entre l'arbre de classification / régression et le réseau bayésien: l'un s'appuie sur l'entropie pour classer un résultat en classes basées sur différents prédicteurs et l'autre construit un réseau graphique utilisant l'indépendance conditionnelle et des estimations de paramètres probabilistes.

Je pense que la méthodologie de construction du réseau bayésien est différente de celle de l'arbre de régression / décision. L'algorithme d'apprentissage structurel, les objectifs d'utilisation des modèles ainsi que la capacité inférentielle des modèles sont différents.

L'approche basée sur les scores et basée sur les contraintes peut être comprise avec quelques parallèles établis avec les critères de gain d'informations dans les familles d'arbres de décision.

Nous essayons d'abord d'indiquer la nature du problème qui a été résolu par ces méthodes. Si un problème est simple, Polynomial ou NP Complete, nous avons prêt à brancher des algorithmes qui pourraient fournir une réponse déterministe, par simple recombinaison des axiomes selon des règles logiques. Cependant, si ce n'est pas le cas, il faudrait s'appuyer sur une méthode de raisonnement, dans laquelle, nous essayons de traiter le problème comme étant hétérogène et de le brancher sur un réseau, les nœuds étant des évaluations et les arêtes étant des voies entre les composants .

Dans tout type de raisonnement basé sur un réseau, nous ne raisonnons pas de manière déductive, en utilisant des généralisations et des combinaisons abstraites, selon des règles logiques dans un flux linéaire, mais travaillons plutôt sur le problème basé sur la propagation du raisonnement dans différentes directions, de sorte que nous résolvons le problème un nœud à la fois, ouvert à des améliorations sur la découverte de nouveaux faits concernant n'importe quel nœud à l'avenir. Voyons maintenant comment chacune de ces techniques aborde cette méthode de résolution de problèmes à sa manière.

Réseau de neurones: Le réseau de neurones est une boîte noire, où l'on pense (ne pourrait jamais être vérifié de l'extérieur du système) que les connexions entre les nœuds de simplet sont formées et accentuées par des renforts externes répétés. Il aborde le problème dans un paradigme Connectionsitic . Le problème est probablement résolu, mais il y a peu d'explication. Le réseau neuronal est désormais largement utilisé en raison de sa capacité à produire des résultats rapides, si le problème d'explicabilité est ignoré.

Réseau bayésien: Le réseau bayésien est un graphe acyclique dirigé, qui ressemble plus à l'organigramme, seulement que l'organigramme peut avoir des boucles cycliques. Le réseau bayésien, contrairement à l'organigramme, peut avoir plusieurs points de départ. Il retrace essentiellement la propagation d'événements à travers de multiples points ambigus, où l'événement diverge de manière probabiliste entre les voies. De toute évidence, en tout point donné du réseau, la probabilité que ce nœud soit visité dépend de la probabilité conjointe des nœuds précédents. Le réseau bayésien est différent du réseau neuronal en ce qu'il est un raisonnement explicite, même s'il est probabiliste et pourrait donc avoir plusieurs états stables en fonction de chaque étape revisitée et modifiée dans les valeurs légales, tout comme un algorithme. C'est un moyen robuste de raisonner de manière probabiliste, mais cela implique le codage des probabilités,

Arbres de décision: L'arbre de décision est à nouveau un réseau, qui ressemble plus à un organigramme, qui est plus proche du réseau bayésien que du réseau neuronal. Chaque nœud a plus d'intelligence que le réseau neuronal et la ramification peut être décidée par des évaluations mathématiques ou probabilistes. Les décisions sont des évaluations simples basées sur les distributions de fréquence des événements probables, où la décision est probabiliste. Cependant, dans les réseaux bayésiens, la décision est basée sur la distribution de «preuves» qui indiquent qu'un événement s'est produit, plutôt que sur l'observation directe de l'événement lui-même.

Un exemple Par exemple, si nous devions prédire le mouvement d'un tigre mangeur d'hommes à travers certains villages himalayens qui se trouve être au bord d'une réserve de tigres, nous pourrions le modéliser sur l'une ou l'autre approche comme suit:

Dans un arbre de décision, nous nous baserions sur des estimations d'experts pour savoir si un tigre aurait le choix entre des champs ouverts ou des fleuves choisirait ce dernier. Dans un réseau bayésien, nous suivons le tigre par des marques de carlin, mais raisonnons d'une manière qui reconnaît que ces marques de carlin pourraient avoir été celles d'un autre tigre de taille similaire patrouillant régulièrement sur son territoire. Si nous voulons utiliser un réseau neuronal, nous devrons former le modèle à plusieurs reprises en utilisant diverses particularités comportementales du tigre en général, telles que sa préférence pour nager, la préférence des zones couvertes par rapport aux zones ouvertes, son évitement des habitations humaines afin de permettre au réseau de raisonner généralement sur le cours que pourrait prendre le tigre.

Concernant les modèles graphiques, Petri Net formalise un comportement système; en ce qu'il diffère fortement des autres modèles mentionnés, qui concernent tous la manière dont un jugement est formé.

Il convient de noter que la plupart des noms cités désignent des concepts d'IA assez étendus, qui fusionnent souvent: par exemple, vous pouvez utiliser un réseau neuronal pour créer un arbre de décision, tandis que le réseau neuronal lui-même, comme nous l'avons vu précédemment, peut dépendre du bayésien inférence.

C'est une bonne question et je me pose la même question. Il existe plus de deux types de réseaux de neurones, et il semble que la réponse précédente concernait le type compétitif, tandis que le réseau bayésien semble avoir des similitudes avec le type à action directe, à rétropropagation (FFBP) et non pas le type compétitif. En fait, je dirais que le réseau bayésien est une généralisation du FFBP. Le FFBP est donc un type de réseau bayésien et fonctionne de manière similaire.