Géométrie et IA

Les matrices, cubes, couches, piles et hiérarchies sont ce que nous pourrions appeler précisément des topologies . Considérons la topologie dans ce contexte, la conception géométrique de niveau supérieur d'un système d'apprentissage.

À mesure que la complexité augmente, il est souvent utile de représenter ces topologies comme des structures de graphe orientées. Les diagrammes d'état et les travaux de Markov sur la théorie des jeux sont deux endroits où les graphiques dirigés sont couramment utilisés. Les graphiques dirigés ont des sommets (souvent visualisés comme des formes fermées) et des bords souvent visualisés comme des flèches reliant les formes.

Nous pouvons également représenter les GAN sous forme de graphique orienté, où la sortie de chaque filet entraîne la formation de l'autre de manière contradictoire. Les GAN ressemblent topologiquement à une bande de Möbius.

Nous ne pouvons pas découvrir de nouvelles conceptions et architectures sans comprendre non seulement les mathématiques de la convergence vers une solution optimale ou le suivi d'une solution, mais également les topologies de connexions réseau qui peuvent prendre en charge une telle convergence. C'est comme développer un processeur tout en imaginant ce dont un système d'exploitation aurait besoin avant d'écrire le système d'exploitation.

Pour avoir un aperçu des topologies que nous n'avons PAS ENCORE examinées, examinons d'abord celles qui l'ont été.

Première étape - Extrusion dans une deuxième dimension

Dans les années 1980, le succès a été obtenu avec l'extension de la conception originale du perceptron. Les chercheurs ont ajouté une deuxième dimension pour créer un réseau neuronal multicouche. Une convergence raisonnable a été obtenue par rétropropagation du gradient d'une fonction d'erreur à travers les gradients des fonctions d'activation atténués par les taux d'apprentissage et atténués avec d'autres méta-paramètres.

Étape deux - Ajout de dimensions au signal d'entrée discret

Nous voyons l'émergence de réseaux convolutifs basés sur des techniques de convolution d'images réglées manuellement, introduisant des dimensions à l'entrée du réseau: position verticale, composantes de couleur et cadre. Cette dernière dimension est essentielle au CGI, au remplacement du visage et à d'autres techniques morphologiques dans la réalisation de films contemporains. Sans cela, nous avons la génération d'images, la catégorisation et la suppression du bruit.

Troisième étape - Piles de réseaux

Nous voyons des piles de réseaux neuronaux émerger à la fin des années 1990, où la formation d'un réseau est supervisée par un autre. Il s'agit de l'introduction de couches conceptuelles, ni dans le sens de couches séquentielles de neurones ni dans le sens de couches de couleur dans une image. Ce type de superposition n'est pas non plus récursif. Cela ressemble plus au monde naturel où une structure est un organe dans un autre type de structure complètement différent.

Quatrième étape - Hiérarchies de réseaux

Nous voyons des hiérarchies de réseaux neuronaux apparaître fréquemment dans les recherches issues des années 2000 et du début des années 2010 (Laplacian et autres), qui poursuivent l'interaction entre les réseaux neuronaux et poursuivent l'analogie avec le cerveau des mammifères. Nous voyons maintenant une méta-structure, où des réseaux entiers deviennent des sommets dans un graphe orienté représentant une topologie.

Étape cinq% mdash; Départs de l'orientation cartésienne

Les arrangements répétitifs non cartésiens des cellules et les connexions entre elles ont commencé à émerger dans la littérature. Par exemple, Gauge Equivariant Convolutional Networks and the Icosaahedral CNN (Taco S.Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) examine l'utilisation d'un arrangement basé sur un icosaèdre régulier convexe.

Résumer

Les couches ont ordinairement des fonctions d'activation pour les sommets et les matrices d'atténuation mappées sur un ensemble exhaustif de bords dirigés entre les couches adjacentes [1]. Les couches de convolution d'image sont souvent dans des arrangements de sommets bidimensionnels avec des cubes d'atténuation mappés sur un ensemble abrégé de bords dirigés entre des couches adjacentes [2]. Les piles ont des réseaux en couches entiers en tant que sommets dans un graphique méta-dirigé, et ces méta-sommets sont connectés dans une séquence avec chaque bord étant soit un méta-paramètre d'apprentissage, un signal de renforcement (rétroaction en temps réel), ou un autre contrôle d'apprentissage . Les hiérarchies de réseaux reflètent la notion selon laquelle plusieurs contrôles peuvent être agrégés et diriger l'apprentissage de niveau inférieur, ou le cas inversé où plusieurs éléments d'apprentissage peuvent être contrôlés par un réseau de superviseurs de niveau supérieur.

Analyse de la tendance des topologies d'apprentissage

Nous pouvons analyser les tendances de l'architecture d'apprentissage automatique. Nous avons trois tendances topologiques.

• Profondeur dans la dimension de causalité - Couches vers le traitement du signal où la sortie d'une couche d'activations est envoyée via une matrice de paramètres d'atténuation (poids) à l'entrée de la couche suivante. Au fur et à mesure que de plus grands contrôles sont établis, en commençant seulement par une descente de gradient de base dans la propagation arrière, une plus grande profondeur peut être obtenue.

• Dimensionnalité du signal d'entrée - De l'entrée scalaire aux hypercubes (la vidéo a une profondeur de couleur horizontale, verticale, y compris la transparence et le cadre - Notez que ce n'est pas le même que le nombre d'entrées au sens perceptron.

• Développement topologique - Les deux ci-dessus sont de nature cartésienne. Les cotes sont ajoutées à angle droit par rapport à la dimension existante. Comme les réseaux sont câblés en hiérarchies (comme dans les hiérarchies laplaciennes) et les cercles en forme de bande de Möbius (comme dans les GAN), les tendances sont topographiques et sont mieux représentées par des graphiques dirigés où les sommets ne sont pas des neurones mais de plus petits réseaux d'entre eux.

Quelles topologies manquent?

Cette section développe le sens de la question du titre.

• Y a-t-il une raison pour laquelle plusieurs méta-sommets, chacun représentant un réseau neuronal, peuvent être organisés de telle sorte que plusieurs méta-sommets de superviseur puissent, conjointement, superviser plusieurs méta-sommets d'employés?
• Pourquoi la rétro-propagation d'un signal d'erreur est-elle le seul équivalent non linéaire d'une rétroaction négative?
• La collaboration entre les méta-sommets plutôt que la supervision ne peut-elle pas être employée, où il y a deux bords réciproques représentant les contrôles?
• Étant donné que les réseaux de neurones sont utilisés principalement pour l'apprentissage de phénomènes non linéaires, pourquoi interdit-on d'autres types de chemins fermés dans la conception des réseaux ou leur interconnexion?
• Y a-t-il une raison pour laquelle le son ne peut pas être ajouté à l'image afin que les clips vidéo puissent être classés automatiquement? Si tel est le cas, un scénario est-il une extraction possible d'un film et une architecture contradictoire peut-elle être utilisée pour générer des scénarios et produire des films sans le système de studio de cinéma? À quoi ressemblerait cette topologie sous forme de graphe orienté?
• Bien que les cellules disposées orthogonalement puissent simuler un arrangement arbitraire régulier de sommets et d'arêtes non orthogonaux, est-il efficace de le faire en vision par ordinateur où l'inclinaison de la caméra autre que plus ou moins 90 degrés est courante?
• Est-il efficace d'organiser des cellules individuelles dans des réseaux ou des réseaux de cellules dans des systèmes d'IA orthogonalement dans des systèmes d'apprentissage qui visent la compréhension et l'assemblage du langage naturel ou la cognition artificielle?

Remarques

1. Les cellules artificielles des MLP utilisent des fonctions de transfert arithmétique à virgule flottante ou fixe plutôt que des transmissions d'impulsions électrochimiques basées sur l'amplitude et le seuil basé sur la proximité. Ce ne sont pas des simulations réalistes de neurones, donc appeler les neurones des sommets serait un terme impropre pour ce type d'analyse.

2. La corrélation des caractéristiques de l'image et des changements relatifs entre pixels à proximité immédiate est beaucoup plus élevée que celle des pixels distants.

La topologie est l'étude des formes géométriques différenciées par intersection et bifurcation. Le terme est utilisé pour les architectures réseau des aspects graphiques. Il est judicieux de l'utiliser pour envisager l'extension de l'analogie avec le réseau neuronal, étant entendu que les RNA ne ressemblent pas beaucoup aux neurones biologiques dans leur façon de s'activer. Pour cette raison, il est difficile de limiter la discussion aux préoccupations topologiques lorsque l'on considère ce qui est largement inexploré.

Le paradigme des employés superviseurs est ce que les piles et les hiérarchies laplaciennes utilisent, tandis que le paradigme des collaborateurs est ce que les réseaux adverses utilisent. Bien que la rétroaction soit négative, le modèle génératif (G) et le modèle discriminant (D) sont en réalité en collaboration pour atteindre un objectif, car un défenseur des démons est utilisé dans le discours pour converger vers les vérités. Certainement d'autres conceptions où les sommets ne sont pas des neurones artificiels mais des éléments ANN ou CNN entiers sont à venir.

Les paradigmes enseignant-élève et superviseur-employé ne sont probablement que deux parmi tant d'autres. Pour simuler la plasticité neuronale, les paradigmes jardinier-plante, appareil-réparateur et ingénieur-produit doivent être étudiés.

La rétro-propagation d'un signal d'erreur n'est pas le seul équivalent non linéaire de rétroaction négative. La topologie circulaire des GAN est également une rétroaction négative, comme vous l'avez indiqué dans votre utilisation de l'analogie des bandes de Möbius. Il devrait cependant y avoir plus de réflexion dans ce sens.

La collaboration entre les méta-sommets est intéressante. La collaboration doit-elle être du type prétendu adversaire? La rétroaction positive peut-elle être utile dans les topologies d'intelligence artificielle? Les propriétaires agricoles et les chauffeurs de camions de distribution alimentaire achètent des aliments dans les supermarchés qui se trouvent à la fin d'une chaîne de processus dont leur rôle n'est qu'une partie. Des cycles plus longs dans les représentations graphiques dirigées de topologies et de conceptions peuvent probablement utiliser utilement des commentaires positifs ou négatifs.

La production artificielle de films cinématographiques peut provenir de recherches comme les travaux de Cornell U sur la génération vidéo à partir de texte - Li, Min, Shen, Carlson et Carin .

Edge of Chaos et Machine Learning; et avantages de la prise de décision

Réponse directe à votre question : -

Bord du chaos

Explication du profane : -

( https://www.lucd.ai/post/the-edge-of-chaos# !)

En quoi consiste cette réponse : -

The Edge of Chaos dans la théorie du chaos pourrait être un sujet important de recherche en intelligence artificielle.

Quel est le bord du chaos? On suppose que ce domaine existe dans une grande variété de systèmes. Il a de nombreuses applications dans ces domaines. Ce champ est une zone de transition entre l'interaction entre l'ordre et le désordre.

Je m'intéresse à l'intersection entre l'IA et la théorie du chaos. Le bord du chaos sert de topologie potentielle qui est largement inexplorée dans l'apprentissage automatique.

C'est un domaine riche qui offre beaucoup de potentiel. Il est, à la fois, largement inconnu et sous-estimé.

J'explorerai les avantages d'analyser un tel champ dans cette réponse. Les avantages se manifestent dans la prise de décision, comme la façon optimale d'investir et de gérer la main-d'œuvre dans une organisation.

Explantion technique : -

"Les matrices, les cubes, les couches, les piles et les hiérarchies sont ce que nous pourrions appeler précisément des topologies. Considérons la topologie dans ce contexte comme la conception géométrique de niveau supérieur d'un système d'apprentissage." ~ Douglas Daseeco, affiche d'ouverture

Comparez cela à cet extrait du résumé de l'article ci-dessous: -

"... Grâce à l'analyse de stabilité dynamique sur divers modèles de vision par ordinateur, nous trouvons des preuves directes que les performances optimales du réseau de neurones profonds se produisent près du point de transition séparant les attracteurs stables et chaotiques. ..." Feng, Ling et Choy Heng Lai. - "Optimal Machine Intelligence Near the Edge of Chaos." arXiv preprint arXiv: 1909.05176 (2019).

-

"Le bord du chaos est un espace de transition entre l'ordre et le désordre qui est supposé exister dans une grande variété de systèmes. Cette zone de transition est une région d'instabilité limitée qui engendre une interaction dynamique constante entre l'ordre et le désordre.

Même si l'idée du bord du chaos est abstraite et peu intuitive, elle a de nombreuses applications dans des domaines tels que l'écologie, la gestion des affaires, la psychologie, les sciences politiques et d'autres domaines des sciences sociales. Les physiciens ont montré que l'adaptation au bord du chaos se produit dans presque tous les systèmes avec rétroaction. - "Bord du chaos." Wikipédia, l'Encyclopédie gratuite . Wikipedia, The Free Encyclopedia, 10 septembre 2019. Web. 22 sept. 2019.

Les avantages d'étudier un tel domaine : -

"[...] Stratégie, protocole, équipes, services, hiérarchies. Le tout méticuleusement organisé pour des performances optimales.

Ou du moins, c'est comme ça que ça devrait être. Mais lorsque nous appliquons la lentille d'un théoricien de la complexité à nos activités, nous constatons que les choses sont plutôt plus complexes. Nous ne considérons plus les organisations comme des organisations, ou les départements comme des départements, mais comme des systèmes adaptatifs complexes, les plus utiles étant compris dans les trois parties:

EMPLOI

Utiliser des modèles mentaux pour prendre de meilleures décisions au travail La vie professionnelle est parsemée de choix difficiles. Suis-je prêt pour cette promotion? Lequel de mes managers devrais-je choisir comme mentor? Que dois-je manger au déjeuner? Il n'existe pas de méthode infaillible pour adopter systématiquement la meilleure ligne de conduite - même les meilleurs d'entre nous commettent des erreurs - mais, avec les bons outils, il est possible de maximiser les chances de succès.

Premièrement, les employés (dans la complexité parlent: agents hétérogènes). Chaque employé a des règles de décision différentes et évolutives qui reflètent à la fois l'environnement et tentent d'anticiper son changement. Deuxièmement, les employés interagissent entre eux et les structures que ces interactions créent - les scientifiques appellent cette émergence. Enfin, la structure globale qui émerge, se comportant comme un système de niveau supérieur avec des propriétés et des caractéristiques distinctes de celles de ses agents sous-jacents. Cette dernière partie est la raison pour laquelle nous disons souvent «le tout est plus grand que la somme de ses parties».

Étant donné le désir de contrôle des gestionnaires, la complexité est loin d'être une réalité commode. Plutôt que de faire face à la réalité brutale du système qu'ils s'efforcent de maintenir, les gestionnaires travaillent souvent en silos, créant des modèles et des mécanismes qui imposent un vernis de certitude. Ce faisant, ils s'aident eux-mêmes et aident leurs collègues à prendre des décisions avec moins de variables. La réalisation des objectifs fixés par ces modèles génère des preuves de réussite - mais il s'agit d'une réussite simplifiée qui peut ne pas être dans le meilleur intérêt du système dans son ensemble.

Par exemple, accorder une priorité rigide à la maximisation des rendements pour les actionnaires rend les choses claires pour les travailleurs: dans le cas d'un compromis difficile, l'option qui se prête à la rentabilité immédiate est l'option préférable. Mais, bien sûr, nous sommes tous conscients que la réduction des dépenses et des investissements pour augmenter les marges à court terme peut nuire à la santé à long terme d'une entreprise. Ce n'est qu'en adoptant la complexité que nous pourrons équilibrer efficacement les valeurs et les priorités concurrentes (et les effets des décisions sur chacune d'elles). [...] "- Fresno, Blanca González del." Ordre du Chaos: comment appliquer la théorie de la complexité au travail: BBVA. " NEWS BBVA , BBVA, 4 déc.2017 , < www.bbva.com/en/order-from-chaos-how-to-apply-complexity-theory-at-work/ >.

Lectures complémentaires : -

• ( http://www.marspolemics.com/racing-over-the-edge-of-chaos-cyberspace-and-artificial-intelligence-in-the-future-operating-environment/ )
• ( https://scitechdaily.com/physicists-apply-machine-learning-to-solve-the-universes-mysteries/ )
• ( https://www.technologyreview.com/s/602234/how-the-mathematics-of-algebraic-topology-is-revolutionizing-brain-science/ )

Sources et références : -

• ( https://en.wikipedia.org/wiki/Edge_of_chaos )
• ( https://arxiv.org/abs/1909.05176v1 )
• ( https://ktiml.mff.cuni.cz/~bartak/ui_seminar/talks/2016ZS/FilipMatzner_DeepLearning.pdf )
• ( https://en.wikipedia.org/wiki/Self-organized_criticality )

Cela peut être hors sujet. Si oui, supprimez-le.

Dans les circuits électroniques, nous avons des blocs logiques - générateurs, déclencheurs, cellules de mémoire, sélecteurs, alus, fpus, bus et bien d'autres puces. Et à partir de là, nous avons des ordinateurs, et à partir du niveau suivant, nous avons des réseaux informatiques ...

Pour l'apprentissage automatique, nous devons avoir une organisation des choses similaire, mais si nous avons des ordinateurs 64 bits, nos réseaux de neurones peuvent avoir des entrées / sorties plus complexes ET plus de fonctions logiques que celles définies dans n'importe quel langage de programmation.

Ainsi, pour X bits d'entrée, nous avons X ^ (2 ^ 2) états pour un bit de sortie, et 2 ^ X bits pour le choix d'une fonction logique nécessaire.

Nous devons donc étudier ces fonctions de manière cohérente, en mettant en évidence le nécessaire, comme premiers filtres opencv comme pour les exemples.