En quoi les réseaux de neurones artificiels et les réseaux de neurones biologiques sont-ils similaires et différents?

16

J'ai entendu à plusieurs reprises que "les réseaux de neurones sont la meilleure approximation que nous ayons pour modéliser le cerveau humain", et je pense qu'il est communément connu que les réseaux de neurones sont modélisés d'après notre cerveau.

Je soupçonne fortement que ce modèle a été simplifié, mais combien?

Dans quelle mesure, disons, la vanille NN diffère de ce que nous savons sur le cerveau humain? Savons-nous même?

Andreas Storvik Strauman
la source
1
Grande question. Beaucoup de ce qui peut être dit est dit ici psychology.stackexchange.com/questions/7880/…
Andrew Butler
1
Je pensais que cela devrait être une question à laquelle j'ai répondu à ai.SE. Je suis aussi curieux!
Andreas Storvik Strauman
Les neurones artificiels et les neurones biologiques sont très similaires. La forme de leurs connexions est également assez similaire, bien que les neurones biologiques aient de nombreuses complications dans leur interopération qui semblent être largement inconnues. Cependant, l'utilisation de ces neurones est radicalement différente, c'est-à-dire la raison pour laquelle ils sont combinés en réseaux et employés. Les ANN sont utilisés pour approximer des fonctions et ainsi résoudre des problèmes. Alors que seul Dieu sait pourquoi les BNN sont comme ils sont et quel est leur but en premier lieu. Donc, pas une question très intéressante, je pense ...
Evgeniy

Réponses:

10

La différence entre les réseaux de neurones artificiels (RNA) et les réseaux de neurones biologiques (BNN) dépend de ce que vous recherchez. Nous savons tous que les RNA sont inspirés par les RNA biologiques.
Différences structurelles: En général, un réseau de neurones se compose de quatre composants:
entrez la description de l'image ici

  • les neurones
  • topologie: le chemin de connectivité entre les neurones
  • poids
  • algorithme d'apprentissage

En cas de réseau neuronal artificiel, l'état initial et les poids sont attribués de manière aléatoire . Alors que pour les réseaux de neurones biologiques, les forces des connexions entre les neurones et la structure des connexions ne commencent pas de manière aléatoire. L'état initial est génétiquement dérivé et est le sous-produit de l'évolution .
Dans le BNN, l'apprentissage provient des interconnexions entre une myriade de neurones dans le cerveau. Ces interconnexions changent de configuration lorsque le cerveau connaît de nouveaux stimuli . Les changements entraînent de nouvelles connexions, le renforcement des connexions existantes et la suppression des anciennes et inutilisées .
Les RNA sont formés à partir de zéro en utilisant une topologie fixe(rappelez-vous les changements de topologie dans le cas des BNN), qui dépendent du problème résolu. Le mécanisme actuel ne modifie pas la topologie de l'ANN et les poids sont initialisés au hasard et ajustés via un algorithme d'optimisation.

Un autre contraste réside dans le nombre de neurones dans le réseau. Un ANN typique se compose de centaines, voire de milliers de neurones; le réseau neuronal biologique du cerveau humain est constitué de milliards . Ce nombre varie d'un animal à l'autre.
Vous pouvez en trouver plus ici et ici .

Ugnes
la source
1
La force de connexion est-elle génétiquement dérivée? Êtes-vous sûr de cela?
DuttaA
2
Initialement, les forces de connexion d'un nouveau-né sont déterminées génétiquement. Après cela, ils changent principalement sur la base de stimuli externes.
Ugnes
2
Les réseaux de neurones artificiels ne sont pas limités aux topologies fixes (voir NEAT, TWEANN, etc.)
Andrew Butler
1
Un ANN pour la reconnaissance d'image a certainement bien plus que des milliers de neurones. Plusieurs millions probablement.
maaartinus
J'ai écrit la réponse sur la base des RNA générales trouvées aujourd'hui, sans considérer les meilleures RNA. Avec l'amélioration de la technologie, les RNA s'améliorent également; se rapprocher des BNN. Merci, AndrewButler et maaartinus de les mentionner.
Ugnes
5

Ils ne sont plus proches, plus maintenant!

[Artificiel] Les réseaux de neurones sont vaguement inspirés par les connexions que nous avons précédemment observées entre les neurones d'un cerveau. Initialement, il y avait probablement une intention de développer l'ANN pour se rapprocher des cerveaux biologiques. Cependant, les ANN de travail modernes que nous voyons leurs applications dans diverses tâches ne sont pas conçus pour nous fournir un modèle fonctionnel d'un cerveau animal. Pour autant que je sache, aucune étude ne prétend avoir trouvé quelque chose de nouveau dans un cerveau biologique en examinant les connexions et les distributions de poids, disons d'un modèle CNN ou RNN.

Borhan Kazimipour
la source
LOL. Je suis d'accord. La seule chose qu'ils ont en commun est la suivante. Ce sont des circuits au sens le plus abstrait du terme. Il peut y avoir autre chose. La nature a essayé plein de trucs et nous avons émergé. Ensuite, nous avons essayé un tas de choses et les XNN ont émergé (où X est l'un de A, C ou N). Les deux réseaux sont le résultat d'un grand nombre de défaillances.
FauChristian
3

La déclaration commune selon laquelle les réseaux de neurones artificiels sont inspirés par la structure neuronale du cerveau n'est que partiellement vraie.

Il est vrai que Norbert Wiener, Claude Shannon, John von Neuman et d'autres ont commencé le chemin vers l'IA pratique en développant ce qu'ils appelaient alors le cerveau électronique. C'est aussi vrai

  • Les réseaux artificiels ont des fonctions appelées activations,
  • Sont câblés dans des relations plusieurs à plusieurs comme les neurones biologiques, et
  • Sont conçus pour apprendre un comportement optimal,

mais c'est l'étendue de la similitude. Les cellules des réseaux artificiels tels que les MLP (perceptrons multicouches) ou les RNN (réseaux neuronaux récurrents) ne sont pas comme les cellules des réseaux cérébraux.

Le perceptron, le premier logiciel à attaquer des réseaux de choses qui s'activent, n'était pas un réseau de neurones. C'était l'application d'une rétroaction de base impliquant des gradients, qui avait été couramment utilisée en ingénierie depuis que le gouverneur centrifuge de James Watt avait été modélisé mathématiquement par Gauss. Une approximation successive, un principe utilisé depuis des siècles, a été utilisée pour mettre à jour progressivement une matrice d'atténuation. La matrice a été multipliée par le vecteur alimentant un tableau de fonctions d'activation identiques pour produire une sortie. C'est ça.

La projection dans une deuxième dimension d'une topologie multicouche a été rendue possible par la réalisation que le jacobien pouvait être utilisé pour produire un signal correctif qui, lorsqu'il était distribué comme rétroaction négative aux couches de manière appropriée, pouvait régler la matrice d'atténuation d'une séquence de les perceptrons et le réseau dans son ensemble convergeraient vers un comportement satisfaisant. Dans la séquence des perceptrons, chaque élément est appelé une couche. Le mécanisme de rétroaction est maintenant appelé retour de propagation.

Les mathématiques utilisées pour corriger le réseau sont appelées descente de gradient parce que c'est comme un aveugle déshydraté utilisant le gradient du terrain pour trouver de l'eau, et les problèmes de le faire sont également similaires. Il pourrait trouver un minimum local (point bas) avant de trouver de l'eau douce et de converger vers la mort plutôt que vers l'hydratation.

Les nouvelles topologies sont les ajouts de travaux de convolution déjà existants utilisés dans la restauration d'images numériques, le tri du courrier et les applications graphiques pour créer la famille de topologies CNN et l'utilisation ingénieuse de ce qui ressemble à un équilibre chimique de la chimie de première année pour combiner la création de critères d'optimisation la famille de topologies GAN.

Deep est simplement synonyme de nombreux dans la plupart des contextes d'IA. Elle infère parfois la complexité dans la topologie de niveau supérieur (au-dessus des produits à matrice vectorielle, des activations et des circonvolutions).

Des recherches actives sont en cours par ceux qui savent à quel point ces réseaux profonds sont différents de ce que les neuronologues ont découvert il y a des décennies dans les tissus cérébraux des mammifères. Et de plus en plus de différenciateurs sont découverts aujourd'hui alors que l'apprentissage des circuits et de la neurochimie dans le cerveau est étudié du point de vue génomique.

  • Plasticité neuronale ... modification de la topologie du circuit due à la croissance des dendrites et des axiomes, à la mort, à la redirection et à d'autres morphings
  • Complexité topologique ... un grand nombre d'axiomes s'entrecroisent sans interagir et sont délibérément protégés des diaphonie (indépendants), probablement parce qu'il serait désavantageux de les laisser se connecter [note 1]
  • Signalisation chimique ... les cerveaux de mammifères ont des dizaines de composés neurotransmetteurs et neurorégulateurs qui ont des effets régionaux sur les circuits [note 2]
  • Les organites ... les cellules vivantes ont de nombreuses sous-structures et il est connu que plusieurs types ont des relations complexes avec la transmission du signal dans les neurones
  • Forme d'activation complètement différente ... les activations dans les réseaux de neurones artificiels communs sont simplement des fonctions avec des scalaires ordinaux pour la plage et le domaine ... les neurones mammifères fonctionnent en fonction à la fois de l'amplitude et de la proximité temporelle relative des signaux entrants [note 3]

[1] Ironiquement, la topologie est à la fois un sous-ensemble de l'architecture (dans les domaines de la conception de bâtiments, de l'approvisionnement de réseau, de l'analyse WWW et des réseaux sémantiques), mais en même temps, la topologie est, bien plus que l'architecture, au centre radical des deux IA. mathématiques et actualisation efficace dans les systèmes de contrôle

[2] Le rôle de la chimie peut être essentiel à l'apprentissage des comportements sociaux et reproductifs qui sont liés à la propagation de l'information ADN, reliant de manière complexe l'apprentissage au niveau d'un écosystème et du cerveau. En outre, l'apprentissage à long terme et à court terme divise également l'apprentissage du cerveau en deux capacités distinctes.

[3] L'impact de la synchronisation des signaux entrants sur l'activation biologique des neurones est compris dans une certaine mesure, mais il peut avoir un impact beaucoup plus important que la sortie des neurones. Cela peut également avoir un impact sur la placticité et la chimie, et les organites peuvent y jouer un rôle.

Sommaire

Les bibliothèques d'apprentissage automatique simulent autant le cerveau humain que les poupées Barbie et Ken simulent un vrai couple.

Néanmoins, des choses remarquables se produisent dans le domaine de l'apprentissage en profondeur, et cela ne me surprendrait pas si les véhicules autonomes deviennent pleinement autonomes de notre vivant. Je ne recommanderais à aucun étudiant de devenir développeur non plus. Les ordinateurs coderont probablement beaucoup mieux que les humains et les ordres de grandeur plus rapidement et peut-être bientôt. Certaines tâches ne sont pas du genre de celles que la biologie a évoluées et les ordinateurs peuvent dépasser les capacités humaines après seulement quelques décennies de recherche, dépassant finalement les performances humaines de plusieurs ordres de grandeur.

Douglas Daseeco
la source
Il y a une différence drastique entre conduire une voiture et programmer un ordinateur. La conduite d'une voiture est une tâche bien définie, il peut donc y avoir un moyen de l'exprimer comme un problème d'approximation de fonction, c'est pourquoi les réseaux de neurones peuvent sonner. La fonction d'utiliser les commandes de la voiture en fonction de l'entrée existe et peut être approximé. Bien que la programmation d'un ordinateur ne soit pas vraiment une tâche, c'est une séquence de décisions que l'on prend en pensant à une situation. C'est un art de transformer les problèmes en problèmes.
Evgeniy