Quelles sont les critiques concernant les performances de HTM?

Je viens d'apprendre récemment l'existence de cette mémoire temporelle hiérarchique (HTM) . J'ai déjà lu le document Hierarchical Temporal Memory: Concepts, Theory and Terminology (par Jeff Hawkins et Dileep George), qui semble assez facile à comprendre, mais un drapeau rouge est que le document n'est ni révisé par des pairs ni tenté d'expliquer pourquoi il devrait travailler en détail.

J'ai essayé de chercher des sources indépendantes. J'ai trouvé quelques articles qui comparent ses performances aux autres, mais aucun n'explique pourquoi il fonctionne bien (ou pas). J'ai remarqué certains commentaires affirmant qu'il avait été méprisé par un expert traditionnel, mais je n'ai trouvé aucune critique réelle.

Quelles sont les critiques concernant les performances de HTM? Étant donné que HTM est censé être générique, toute critique spécifique à un domaine doit être liée à un problème plus fondamental.

En outre, il existe une énorme quantité de données de formation à utiliser, suffisamment même pour une session de formation de plusieurs mois. Fondamentalement, aucune critique concernant la taille ou la durée de la formation n'est pertinente.

Les critiques contre Jeff Hawkins sont bien résumées dans l'essai suivant tiré de http://www.theregister.co.uk/2014/03/29/hawkins_ai_feature/

Je crois moi-même que la théorie HTM a un énorme potentiel et sera le fondement d'une véritable intelligence machine. IBM a récemment annoncé la sauvegarde de la théorie HTM et a lancé le Cortical Learning Center comprenant une centaine de membres.

http://www.technologyreview.com/news/536326/ibm-tests-mobile-computing-pioneers-controversial-brain-algorithms/

Comme il est souligné dans l'essai, Dillep George, un co-fondateur de Numenta, a fait la startup Vicarious, qui a attiré une énorme quantité de fonds, ce qui suggère un potentiel de la théorie HTM.

Source: Critiques contre Jeff Hawkins , The Register

Son approche médiatique et confiante semble avoir suscité un certain sentiment de malaise parmi d'autres universitaires qui soulignent, à juste titre, que Hawkins n'a pas publié largement, ni inventé de nombreuses idées par lui-même.

Numenta a également eu des problèmes, en partie à cause de la vision idiosyncratique de Hawkins sur le fonctionnement du cerveau.

En 2010, par exemple, le cofondateur de Numenta, Dileep George, est parti pour fonder sa propre entreprise, Vicarious, pour cueillir certains des fruits les plus bas dans le domaine prometteur de l'IA. D'après ce que nous comprenons, cette séparation à l'amiable découle d'une différence d'opinion entre George et Hawkins, car George tendait vers une approche plus mathématique, et Hawkins vers une approche plus biologique.

Hawkins est également venu pour un peu de raclée de l'intelligentsia, avec le professeur de psychologie de l'Université de New York, Gary Marcus, rejetant l'approche de Numenta dans un article du New Yorker intitulé Steamrolled by Big Data.

D'autres universitaires interrogés par El Reg pour cet article ne voulaient pas être cités, car ils estimaient que le manque de papiers examinés par les pairs de Hawkins combiné à son esprit d'entreprise réduisait la crédibilité de toute son approche.

Hawkins rejette ces critiques et pense qu'elles se résument à une différence d'opinion entre lui et l'intelligentsia de l'IA.

"Ce sont des systèmes biologiques complexes qui n'ont pas été conçus par des principes mathématiques [qui sont] très difficiles à formaliser complètement", nous a-t-il expliqué.

J'étudie le HTM depuis un certain temps. C'est plutôt cool. Le comportement par défaut d'un HTM est d'analyser des données temporelles. D'un autre côté, de nos jours, vous avez besoin d'un réseau de neurones "fantaisie" (par exemple un réseau de neurones récurrent) pour modéliser un problème de séquence à séquence (par exemple un chatbot). Mais HTM peut naturellement s'appliquer à ce type de problèmes!

Je prévois de créer une sorte de télévision interactive avec elle, avec des données de contrôle envoyées avec les données visuelles, puis de contraindre les données visuelles aux données de contrôle (c'est possible, mais ne vous attendez pas à ce qu'elle rêve soudainement de nouvelle vidéo, cela ne se produit pas). Mais, je dois dire que la chose la plus cool à ce sujet est que la vidéo avec laquelle vous l'enseignez ne sortira pas en lecture, mais qu'elle en montrera la version la plus typique, qui est sa forme de compréhension, et qui la rend vraiment cool. C'est un peu comme le rêve que vous en retirez.

Si vous utilisez HTM avec du texte,

1. il stocke des lettres,
2. puis il produit des syllabes.
3. puis il prend ces syllabes et en produit des éléments communs,
4. puis il forme des mots à partir des syllabes communes,
5. puis il prend ces mots et détermine ce qu'ils ont en commun,
6. alors il forme des mots éventuellement plus gros,
7. puis il forme des groupes de mots,
8. puis il forme des groupes de phrases

Donc, à chaque fois, ça monte d'un niveau, ça "oublie" un peu plus, juste pour peut-être ancrer plus solidement les groupes. Ces groupes plus étroitement enracinés seront lus un peu différemment de l'enregistrement en cours de lecture. Et cette lecture n'a pas été vue par beaucoup de gens.

Je me demande s'il arrive complètement avec ses propres phrases.

Cela rend la phrase un peu plus lente, beaucoup mieux. C'est un travail beaucoup plus difficile que de ne rien oublier et d'avoir simplement une lecture à plat de l'enregistrement. Je dirais que plus votre phrase augmente lentement, mieux vous l'avez fait, donc s'il y a plus de moyen de trouver la typicité, vous devriez le faire.