Pourquoi les réseaux de neurones profonds et l'apprentissage profond sont-ils insuffisants pour atteindre l'intelligence générale?

11

Tout ce qui concerne le Deep Learning (DL) et les réseaux profonds (er) semble "réussi", progressant au moins très rapidement et cultivant la croyance selon laquelle AGI est à portée de main. C'est de l'imagination populaire. DL est un formidable outil pour faire face à tant de problèmes, y compris la création d'AGI. Mais cela ne suffit pas. Un outil est un ingrédient nécessaire, mais souvent insuffisant.

Des figures de proue du domaine cherchent ailleurs à progresser. Ce rapport / revendication rassemble des liens vers des déclarations de Yoshua Bengio , Yann LeCun et Geoff Hinton . Le rapport explique également:

Les principales faiblesses de DL (telles que je les vois) sont: la dépendance aux neurones modèles les plus simples possibles («caricaturaux» comme LeCun les appelle); utilisation des idées de la mécanique statistique et des statistiques du XIXe siècle, qui sont à la base des fonctions énergétiques et des méthodes de log-vraisemblance; et la combinaison de ceux-ci dans des techniques telles que le backprop et la descente de gradient stochastique, conduisant à un régime d'application très limité (hors ligne, principalement par lots, apprentissage supervisé), nécessitant des praticiens très talentueux (alias "Stochastic Graduate Descent"), de grandes quantités de cher données de formation étiquetées et puissance de calcul. Bien qu'il soit idéal pour les grandes entreprises qui peuvent attirer ou acheter le talent et déployer des ressources illimitées pour collecter des données et les analyser, DL n'est tout simplement ni accessible ni utile pour la majorité d'entre nous.

Bien qu'intéressant et pertinent, ce type d'explication ne répond pas vraiment à l'essentiel du problème: qu'est-ce qui manque?

La question semble large, mais peut-être par manque de réponse simple. Existe-t-il un moyen d'identifier exactement ce qui manque à DL pour une AGI?

Eric Platon
la source

Réponses:

7

Tous ceux qui traitent de réseaux de neurones passent à côté d'un point important lors de la comparaison de systèmes avec une intelligence humaine. Un être humain met plusieurs mois à faire quelque chose d'intelligible, sans parler de pouvoir résoudre des problèmes que les humains adultes peuvent à peine gérer. Cela et la taille du cerveau humain est énorme par rapport à nos réseaux de neurones. La direction peut être correcte, mais l'échelle est très éloignée. Le nombre de neurones dans le cerveau humain peut être adapté en mémoire, mais le degré de parallélisme pour le simuler en temps réel ne peut pas encore être atteint (au moins pour un chercheur aléatoire). Bien qu'un peu vieux, cela pourrait vous donner une idée de combien nous manquons de puissance de traitement.

Cem Kalyoncu
la source
Merci pour cette réponse concise. Voulez-vous dire que seule la taille compte pour atteindre une AGI et au-dessus, uniquement avec les technologies DL? La taille importe, mais quelque chose manque probablement encore. (Tout jeu de mots dans ce paragraphe est entièrement destiné).
Eric Platon
1
Par exemple, considérons les automates cellulaires à la Wolfram. Très simple, mais menant à une complexité surprenante.
Eric Platon
L'informatique quantique, quelle que soit sa forme finale, est-elle l'une des solutions proposées à ce problème de traitement?
DukeZhou
Le traitement quantique peut être utilisé pour prendre une décision à un moment donné, mais il ne peut pas être utilisé pour simuler un flux continu comme dans le cerveau humain. Une fois que le système est observé, la forme d'onde quantique s'effondre, le réduisant à un système séquentiel lent.
Cem Kalyoncu
1
@CemKalyoncu En effet. Mais un éléphant en a presque 3 fois plus que les humains . L'argument de la taille importe, bien sûr, mais la taille seule ne semble pas suffire.
Eric Platon
6

L'apprentissage en profondeur réussit surtout dans l'apprentissage supervisé, tandis que le cerveau construit des catégories principalement de manière non supervisée. Nous ne savons pas encore comment procéder. (Jetez un oeil à google brain : 16 000 cœurs et tout ce que vous pouvez faire est de reconnaître les chats et les visages humains avec une précision assez abyssale.)

Le Deep Learning utilise des activations hautement non structurées, c'est-à-dire que les représentations de haut niveau de "chien" et "chat" dans un classificateur de réseau neuronal ne doivent pas du tout être similaires. Le cerveau, d'autre part, utilise des neurones inhibiteurs pour créer des représentations réparties clairsemées qui sont décomposables dans leurs aspects sémantiques. C'est probablement important pour l'abstraction et le raisonnement par analogie.

Le cerveau a de nombreuses parties différentes qui fonctionnent ensemble. Les chercheurs du Deep Learning commencent tout juste à intégrer des mécanismes de mémoire ou d'attention dans leur architecture.

Le cerveau intègre des informations provenant de nombreux sens différents. La plupart des applications Deep Learning utilisent un seul type d'entrée, comme du texte ou des images.

Le cerveau est capable de modéliser des séquences en catégories. (Fondamentalement, chaque verbe nomme une catégorie séquentielle (c'est-à-dire temporelle).) Il peut ensuite organiser ces catégories en plans hiérarchiques à long terme. Jusqu'à présent, je n'ai rien vu dans ce sens dans le Deep Learning.

De plus, les réseaux de neurones ne peuvent pas encore fonctionner à la même échelle que le cerveau humain. Si vous regardez les réponses à cette question , le cerveau humain sera en avance dans le nombre de neurones pendant encore deux décennies. Un réseau de neurones peut ne pas avoir besoin du même nombre de neurones que le cerveau pour atteindre des performances similaires (en raison d'une plus grande précision), mais en ce moment, par exemple, le traitement vidéo est encore assez limité en termes d'entrée et de débit.

BlindKungFuMaster
la source
Des points intéressants ici aussi, merci. Ce qui me préoccupe ici, c'est qu'il s'agit d'un processus (d'apprentissage [profond]) et d'une structure (du réseau ou du cerveau) contrastés. Si cette tendance est correcte, AGI n'est qu'une question de temps basée sur ce que nous avons. Vous mentionnez des problèmes sémantiques dans les réseaux profonds, probablement mieux perçus dans les modèles contradictoires. Cela indique qu'il manque quelque chose et est l'un des meilleurs arguments de cette réponse. Je comprends que les structures actuelles sont insuffisantes (c'est-à-dire les premiers modèles de mémoire). Il s'agit cependant indirectement de la question du «pourquoi». Voyez-vous des moyens d'affiner votre réponse?
Eric Platon
Les récentes approches «optiques uniquement» du jeu ML tentent-elles de se libérer de l'apprentissage supervisé?
DukeZhou
@DukeZhou: Je pense que les techniques RL pourraient jouer un rôle dans l'apprentissage non supervisé, mais pour l'instant il me semble que RL n'apprend pas encore les concepts de haut niveau.
BlindKungFuMaster
1
@EricPlaton: Je ne suis pas sûr de comprendre votre commentaire. Je pense qu'il manque 1. une structure et 2. une échelle. Et bien sûr des algorithmes, mais ceux-ci sont étroitement liés à la structure.
BlindKungFuMaster
3

À mon humble avis, le premier obstacle est l' échelle : même le plus grand DNN de Google ne se rapproche pas de l'échelle du cerveau, et par un facteur de plusieurs ordres de grandeur ...

Franc
la source
2

Je pense qu'il manque encore les aspects qui font un cerveau humain; ayant un grand nombre de réseaux différents travaillant ensemble.

Tout comme la méditation améliore les capacités cognitives en faisant fonctionner le cerveau de manière plus synergique, nous pourrions également appliquer cela aux machines.

Par exemple, Google apprend à rêver à un ordinateur, tout comme nous, pour renforcer ce que nous avons déjà appris. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

Et voici pathnet, un réseau de réseau neuronal. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

Créer toutes ces mécaniques et les mettre ensemble, avec assez de puissance et nous serons assez proches!

Alexandre
la source
Pourriez-vous clarifier ce que c'est? Ce pourrait être le processus d'apprentissage en profondeur, ou des réseaux tout aussi profonds. Ce sont différents.
Eric Platon
1
Les deux, mais ayant principalement des réseaux de neurones profonds qui fonctionnent les uns avec les autres, je pense que DNN devrait également avoir de bonnes caractéristiques de plasticité neuronale. Mais c'est quelque chose sur lequel nous ne pouvons que toucher les bases, nous ne savons même pas comment fonctionne exactement un cerveau humain
Alexander
1

Les partisans de l'intelligence artificielle se concentrent aujourd'hui sur le problème de la calculabilité - la capacité de résoudre rapidement des problèmes complexes. Je suis convaincu que tout succès dans cette direction ne mènera pas à l'intelligence humaine (générale), même si elle surpassera certainement les humains dans certains domaines. Au lieu de cela, les efforts devraient être vers une étude de ce que les événements neurologiques provoquent des sensations (l'expérience des qualia). Bien sûr, c'est le problème difficile de la philosophie, mais je crois que c'est la clé unique de l'intelligence générale et de ses capacités. La rétro-ingénierie et les théories testables devraient également être avancées à cette fin.

user415738
la source
1
Quaila peut être un trait intéressant pour les machines (surtout si nous voulons que les gens donnent des droits sur ces machines), mais à part le fait que la quaila elle-même soit un problème très difficile en philosophie, il y a deux problèmes principaux en jeu. (A) l'intelligence elle-même peut ne pas nécessiter de quaila, vous pouvez être intelligent sans pouvoir avoir des expériences subjectives à la première personne .. c'est-à-dire le zombie philosophique.
Left SE On 10_6_19
(B) L'industrie ne se soucie que de résoudre rapidement des problèmes complexes et ne se soucie pas vraiment de savoir si cette machine rapide peut penser ou ressentir. AGI n'est souhaité que dans la mesure où il pourrait résoudre rapidement des problèmes complexes ... l'intelligence n'est qu'un moyen pour parvenir à une fin. (En fait, l'industrie peut ne pas vouloir une machine à penser et à ressentir, car ces machines peuvent mériter des droits ... et les droits sont un peu comme des réglementations, limitant ce qu'une entreprise peut faire avec leur outil.)
Left SE On 10_6_19