Que pouvons-nous apprendre sur le cerveau humain des réseaux de neurones artificiels?

24

Je sais que ma question / titre n'est pas très précis, je vais donc essayer de le clarifier:

Les réseaux de neurones artificiels ont des conceptions relativement strictes. Bien sûr, généralement, ils sont influencés par la biologie et tentent de construire un modèle mathématique de réseaux neuronaux réels, mais notre compréhension des réseaux neuronaux réels est insuffisante pour construire des modèles exacts. Par conséquent, nous ne pouvons pas concevoir de modèles exacts ou tout ce qui se rapproche des réseaux neuronaux réels.

Pour autant que je sache, tous les réseaux de neurones artificiels sont loin des vrais réseaux de neurones. Les MLP classiques et entièrement connectés ne sont pas présents en biologie. Les réseaux de neurones récurrents ont un manque de neuroplasticité réelle, chaque neurone d'un RNN a la même "architecture de rétroaction" tandis que les vrais neurones enregistrent et partagent leurs informations plutôt individuellement. Les réseaux de neurones à convolution sont efficaces et populaires, mais (par exemple) le traitement d'image dans le cerveau humain ne comprend que quelques couches de convolution tandis que les solutions modernes (comme GoogLeNet) utilisent déjà des dizaines de couches ... et bien qu'elles produisent d'excellents résultats pour les ordinateurs , ils ne sont même pas proches de la performance humaine. Surtout quand nous pensons à une "performance par couche", car nous avons besoin d'une quantité assez élevée de couches et d'une réduction des données par rapport aux réseaux neuronaux réels.

De plus, à ma connaissance, même les réseaux neuronaux artificiels modulaires, auto-extensibles / auto-restructurants sont plutôt "fixes et statiques" par rapport à l'énorme adaptabilité des réseaux neuronaux réels. Le neurone biologique a normalement des milliers de dendrites reliant le neurone à une grande variété de zones différentes et à d'autres neurones. Les réseaux de neurones artificiels sont beaucoup plus "simples".

Alors, y a-t-il quelque chose que nous puissions apprendre sur le cerveau humain / les réseaux neuronaux réels à partir des réseaux de neurones artificiels? Ou s'agit-il simplement d'une tentative de créer un logiciel plus performant que les algorithmes statiques classiques (ou même de faire des choses où ces algorithmes échouent)?

Quelqu'un peut-il fournir des sources (de préférence scientifiques) sur ce sujet?

EDIT: Plus de réponses sont très appréciées (:

daniel451
la source
Beaucoup de choses ont changé depuis que cela a été demandé. Les réseaux profonds formés sur ImageNet semblent être des approximations raisonnablement décentes pour le système visuel (ou au moins la partie à action directe), par exemple.
Matt Krause

Réponses:

13

Comme vous l'avez mentionné, la plupart des réseaux de neurones sont basés sur des abstractions générales simples du cerveau. Non seulement ils manquent d'imiter des caractéristiques comme la plasticité, mais ils ne prennent pas en compte les signaux et le timing comme le font les vrais neurones.

Il y a une interview assez récente, que j'ai jugée appropriée pour votre question spécifique, Maestro Michael Jordan , Machine-Learning sur les délires du Big Data et d'autres efforts d'ingénierie énormes , et je cite:

Mais il est vrai qu'avec les neurosciences, il faudra des décennies, voire des centaines d'années pour comprendre les principes profonds. Il y a des progrès aux niveaux les plus bas des neurosciences. Mais pour les problèmes de cognition supérieure - comment nous percevons, comment nous nous souvenons, comment nous agissons - nous n'avons aucune idée de la façon dont les neurones stockent les informations, comment ils calculent, quelles sont les règles, quels sont les algorithmes, quelles sont les représentations, et similaires. Nous ne sommes donc pas encore à une époque où nous pouvons utiliser une compréhension du cerveau pour nous guider dans la construction de systèmes intelligents.

tapoter
la source
5
N'est-ce pas une réponse à une question différente des PO? La dernière ligne de la citation de l'interview de Jordan implique qu'il aborde la question "que pouvons-nous apprendre sur (comment créer) l'intelligence artificielle à partir de notre connaissance du cerveau?" - pas l'inverse. "Que pouvons-nous apprendre du cerveau de l'intelligence artificielle?" Pas grand-chose, c'est pourquoi le domaine des sciences cognitives a implosé depuis son apogée dans les années 80 et 90.
dodgethesteamroller
Oui - plus ou moins ... mais c'est une belle circonscription du sujet. Cela conduit à l'idée que notre compréhension du cerveau est très insuffisante, donc nous ne sommes pas en mesure de construire des modèles précis ou d'apprendre beaucoup des modèles actuellement réussis.
daniel451
11

Pas beaucoup - sans doute rien - a jusqu'à présent été appris sur le fonctionnement du cerveau à partir de réseaux de neurones artificiels. [Clarification: j'ai écrit cette réponse en pensant aux réseaux de neurones utilisés dans l'apprentissage automatique; @MattKrause (+1) a raison de dire que les modèles de réseaux neuronaux de certains phénomènes neuronaux biologiques auraient pu être utiles dans de nombreux cas.] Cependant, cela est peut-être partiellement dû au fait que la recherche sur les réseaux de neurones artificiels dans l'apprentissage automatique était plus ou moins dans stagnation jusqu'en 2006 environ, lorsque Geoffrey Hinton a à peu près à lui seul ravivé l'ensemble du domaine qui attire désormais des milliards de dollars.

Dans une conférence de Google en 2012 intitulée Brains, Sex, and Machine Learning (à partir de 45h30), Hinton a suggéré que les réseaux de neurones artificiels peuvent fournir un indice sur la raison pour laquelle [la plupart] des neurones communiquent avec des pointes et non avec des signaux analogiques. À savoir, il suggère de voir les pics comme une stratégie de régularisation similaire au décrochage. Le décrochage est un moyen récemment développé pour empêcher le sur-ajustement, lorsque seul un sous-ensemble de poids est mis à jour à une étape de descente de gradient donnée (voir Srivastava et al. 2014 ). Apparemment, cela peut très bien fonctionner, et Hinton pense que peut-être des pointes (c'est-à-dire que la plupart des neurones sont silencieux à un moment donné) servent le même but.

Je travaille dans un institut de recherche en neurosciences et je ne connais personne ici qui soit convaincu par l'argument de Hinton. Le jury est toujours absent (et sera probablement absent pendant un certain temps), mais au moins c'est un exemple de quelque chose que les réseaux de neurones artificiels pourraient potentiellement nous apprendre sur le fonctionnement du cerveau.

amibe dit réintégrer Monica
la source
Cela semble intéressant - en comparant la technique de décrochage par rapport aux pointes dans les réseaux de neurones biologiques. Pouvez-vous fournir d'autres sources? Au moins pour le moment je n'ai pas trouvé un bon article sur ce sujet via une recherche Google Scholar et IEEE ...
daniel451
2
Je ne pense pas que cela ait jamais été transformé en article scientifique ou publié du tout. Cela ressemble plus à une idée provocante et à une vague intuition que Hinton a inventée, mais il y a un long chemin à parcourir pour démontrer expérimentalement que c'est réellement (ou n'est pas) le cas.
Amoeba dit Reinstate Monica
1
Ok ... tant pis :( aurait adoré avoir une source citable pour ces idées ... elles semblent intéressantes pour les conclusions;)
daniel451
Si cela ne vous dérange pas ma question: quel est votre sujet de recherche actuel? Vous semblez familier et expérimenté sur ce genre de questions. Pourriez-vous recommander des articles pour une lecture plus approfondie?
daniel451
8

Il n'est certainement pas vrai que le cerveau humain n'utilise que "quelques" couches convolutives. Environ 1/3 du cerveau des primates est impliqué d'une manière ou d'une autre dans le traitement des informations visuelles. Ce diagramme, de Felleman et Van Essen est un aperçu approximatif de la façon dont l'information visuelle circule dans le cerveau du singe, commençant dans les yeux (RGC en bas) et se terminant dans l'hippocampe, une zone de mémoire.Felleman et Van Essen

Chacune de ces cases est une zone définie anatomiquement (plus ou moins), qui contient plusieurs étapes de traitement (couches réelles, dans la plupart des cas). Le diagramme lui-même a 25 ans et nous avons appris qu'il y a encore quelques cases et beaucoup plus de lignes.

Il est vrai qu'une grande partie du travail d'apprentissage en profondeur est plus "vaguement inspiré par" le cerveau que basé sur une vérité neuronale sous-jacente. L '«apprentissage profond» a également l'avantage supplémentaire de paraître beaucoup plus sexy que la «régression logistique itérative».

Cependant, les modèles mathématiques des réseaux de neurones ont également beaucoup contribué à notre compréhension du cerveau. À un extrême, certains modèles tentent d'imiter avec précision la biologie et la biophysique connues. Celles-ci incluent généralement des termes pour les ions individuels et leur flux. Certains utilisent même des reconstructions 3D de vrais neurones pour contraindre leur forme. Si cela vous intéresse, ModelDB dispose d'une large collection de modèles et des publications associées. Beaucoup sont mis en œuvre à l'aide du logiciel NEURON disponible gratuitement .

Il existe des modèles à plus grande échelle qui tentent d'imiter certains effets comportementaux ou neurophysiologiques, sans trop se soucier de la biophysique sous-jacente. Les modèles connexionnistes ou de traitement distribué parallèle, qui étaient particulièrement populaires à la fin des années 1980 et 1990 et utilisaient des modèles similaires à ceux que vous pourriez trouver dans une application d'apprentissage automatique actuelle (par exemple, pas de biophysique, fonctions d'activation simples et connectivité stéréotypée) pour expliquer divers processus psychologiques. Ceux-ci sont un peu tombés en désuétude, même si on se demande s'ils pourraient faire un retour maintenant que nous avons des ordinateurs plus puissants et de meilleures stratégies d'entraînement. (Voir modification ci-dessous!)

Enfin, il y a beaucoup de travail quelque part au milieu qui comprend une certaine "phénoménologie", plus quelques détails biologiques (par exemple, un terme explicitement inhibiteur avec certaines propriétés, mais sans ajuster la distribution exacte des canaux chlorure). Beaucoup de travaux actuels entrent dans cette catégorie, par exemple le travail de Xiao Jing Wang (et bien d'autres ....)

EDIT : Depuis que j'ai écrit ceci, il y a eu une explosion de travail comparant le (réel) système visuel aux réseaux de neurones profonds formés aux tâches de reconnaissance d'objets. Il existe des similitudes surprenantes. Les noyaux dans les premières couches d'un réseau neuronal sont très similaires aux noyaux / champs récepteurs dans le cortex visuel primaire et les couches suivantes ressemblent aux champs récepteurs dans les zones visuelles supérieures (voir le travail de Nikolaus Kriegeskorte, par exemple ). Le recyclage des réseaux de neurones peut provoquer des changements similaires à une formation comportementale approfondie (Wenliang et Seitz, 2018) . Les DNN et les humains font parfois - mais pas toujours - des schémas d'erreurs similaires.

Pour le moment, il est encore assez difficile de savoir si cela reflète la similitude entre les réseaux neuronaux réels et artificiels en général, quelque chose sur les images en particulier [*], ou la tendance des réseaux neuronaux de toutes bandes à trouver des modèles, même lorsqu'ils ne sont pas là. Néanmoins, la comparaison des deux est devenue un domaine de recherche de plus en plus brûlant et il semble probable que nous en tirerons des enseignements.

* Par exemple, la représentation utilisée dans les premiers systèmes visuels / premières couches d'un CNN est une base clairsemée optimale pour les images naturelles.

Matt Krause
la source
Belle contribution. Cependant, je pense que l'OP était assez spécifique: qu'avons-nous appris sur le cerveau à partir des modèles de réseaux de neurones artificiels (NN)? Bien sûr, il y a des millions d'articles en neurosciences computationnelles sur les NN, allant de l'exploration des conditions nécessaires à certains modèles de criticité et des avalanches de neurones, au type de règles de plasticité biologiquement plausibles qui peuvent stimuler l'apprentissage, etc. Et il y a d'autres millions d'articles qui fournissent NN modèles de certains phénomènes neuronaux. Tout cela nous dit peut-être quelque chose sur les NN; mais avons-nous vraiment appris quelque chose de nouveau sur le cerveau?
amibe dit Réintégrer Monica
3
Ce dernier morceau est difficile à répondre de manière concise. David Heeger a gagné mon amour et mon affection éternels pour avoir terminé son article de 1992 avec une liste de cinq expériences proposées. Peu d'articles font cela (et plus devraient le faire), mais cela met en évidence un rôle clé pour la modélisation: inspirer de nouvelles expériences. Du haut de ma tête, je ne peux penser à rien de connu uniquement en raison de la modélisation, mais je peux penser à plusieurs scénarios où nous avons remarqué quelque chose d'intéressant à propos d'un modèle, puis conçu des expériences pour l'examiner de plus près.
Matt Krause
1

Celui que nous avons vraiment appris est l'utilisation de l'activation clairsemée et l'utilisation de fonctions d'activation rectifiées linéaires. La dernière est essentiellement une des raisons pour lesquelles nous avons vu une explosion d'activité concernant ce que l'on appelle le réseau neuronal, car l'utilisation de ce type de fonctions d'activation a entraîné une diminution considérable des offres de formation pour les réseaux informatiques artificiels que nous utilisons pour appeler les réseaux neuronaux.

Ce que nous avons appris, c'est pourquoi la synapse et les neurones sont construits de cette façon et pourquoi c'est préférable. Ces activations rectifiées linéaires (f (x): = x> a? X: 0) entraînent une activation clairsemée (seuls quelques «neurones» (poids)) sont activés.

Donc ce que nous faisons alors que nos connaissances s'étendent vers les fonctions biologiques, nous comprenons pourquoi cela a été choisi et préféré par l'évolution. Nous comprenons que ces systèmes sont suffisants mais également stables en termes de contrôle des erreurs pendant la formation et préservent également des ressources comme l'énergie et les ressources chimiques / biologiques dans un cerveau.

Nous comprenons simplement pourquoi le cerveau est ce qu'il est. Aussi en formant et en examinant les stratégies que nous comprenons sur les flux d'informations possibles et le traitement de l'information impliqué nous aidant à construire et à évaluer des hypothèses sur les sujets mêmes.

Par exemple, quelque chose dont je me souviens, il y a une décennie, était la formation d'un système sur l'apprentissage du langage naturel et la découverte a été que le système montrait des problèmes similaires qui réassemblent le comportement analogique des bébés apprenant à parler une langue. Même les différences entre l'apprentissage de différents types de langues étaient suffisamment similaires.

Ainsi, en étudiant cette approche et cette conception, il a été conclu que le traitement de l'information humaine pendant l'apprentissage des langues est suffisamment similaire pour tirer des recommandations de formation et un traitement des problèmes liés à la langue, qu'il a aidé à aider et à comprendre les difficultés humaines et à développer un traitement plus efficace (quoi que ce soit en fait vraiment fait dans la pratique est une autre question).

Il y a un mois, j'ai lu un article sur le fonctionnement réel de la navigation 3D et de la mémorisation des cerveaux de rats et en créant des modèles de calcul pour chaque découverte, c'était une grande aide pour comprendre ce qui se passait vraiment. Le modèle artificiel a donc rempli les blancs de ce qui a été observé dans le système biologique.

Cela m'a vraiment étonné quand j'ai appris que les neurologues utilisaient un langage qui assemblait davantage celui d'un ingénieur qu'une personne biologique parlant de circuits, de flux d'informations et d'unités de traitement logique.

Nous apprenons donc beaucoup des réseaux de neurones artificiels car ils nous offrent des terrains de jeu empiriques dont nous pouvons tirer des règles et une assurance en ce qui concerne la raison pour laquelle l'architecture du cerveau est ce qu'elle est et aussi pourquoi l'évolution préfère cela à d'autres moyens.

Il y a encore beaucoup de blancs mais d'après ce que j'ai lu - je viens tout juste d'entrer dans CNN, etc., mais j'avais une IA artificielle, une logique floue et des réseaux de neurones pendant la période universitaire au début des années 2000.

J'avais donc rattrapé une décennie de développement et de découverte, ce qui a rendu hommage à tous ces scientifiques et praticiens du réseau neuronal et du domaine de l'IA. Bravo les gens, vraiment bien fait!

Martin Kersten
la source