Tout en lisant avec désinvolture certains travaux du marché de masse sur la théorie du chaos au cours des dernières années, j'ai commencé à me demander comment divers aspects de celui-ci pouvaient être appliqués à l'exploration de données et à des domaines connexes, comme les réseaux de neurones, la reconnaissance de formes, la gestion de l'incertitude, etc. J'ai rencontré si peu d'exemples de telles applications dans la recherche publiée que je me demande si a) elles ont effectivement été mises en pratique dans des expériences et des projets connus et publiés et b) sinon, pourquoi sont-elles si peu utilisées dans ces des champs?

La plupart des discussions sur la théorie du chaos que j'ai vues à ce jour tournent autour d'applications scientifiques qui sont entièrement utiles, mais ont peu à voir avec l'exploration de données et des domaines connexes comme la reconnaissance de formes; l'un des exemples archétypaux est le problème des trois corps de la physique. Je veux renoncer à la discussion des applications scientifiques ordinaires de ce type et restreindre la question uniquement aux applications qui sont manifestement pertinentes pour l'exploration de données et les domaines connexes, qui semblent être rares dans la littérature. La liste des applications potentielles ci-dessous peut être utilisée comme point de départ d'une recherche de recherche publiée, mais je ne suis intéressé que par les applications qui ont été effectivement mises en pratique, le cas échéant. Ce que je recherche, ce sont des implémentations connues de la théorie du chaos pour l'exploration de données, contrairement à la liste des applications potentielles, qui est beaucoup plus large. Voici un petit échantillon d'idées spontanées pour les applications d'exploration de données qui m'est venu à l'esprit pendant la lecture; peut-être qu'aucun d'entre eux n'est pragmatique, peut-être que certains sont mis en pratique au moment où nous parlons, mais utilisez des termes que je ne connais pas encore:

1. Identifier des structures auto-similaires dans la reconnaissance de formes, comme Mandelbrot l'a fait de manière pratique dans le cas de salves d'erreurs dans les lignes téléphoniques analogiques il y a quelques décennies.
2. Rencontrer la constante de Feigenbaum dans les résultats de l'exploitation minière (peut-être d'une manière similaire à la façon dont les théoriciens des cordes ont été surpris de voir les équations de Maxwell apparaître dans des endroits inattendus au cours de leurs recherches).
3. Identifier la profondeur de bits optimale pour les poids nets neuronaux et divers tests d'exploration de données. Je me suis posé des questions sur celui-ci en raison des échelles numériques extrêmement petites auxquelles la sensibilité aux conditions initiales entre en jeu, qui sont en partie responsables de l'imprévisibilité des fonctions liées au chaos.
4. L'utilisation de la notion de dimensions fractionnaires par d'autres moyens n'est pas nécessairement liée à des curiosités fractales fascinantes, comme les éponges Menger, les courbes Koch ou les tapis Sierpinski. Peut-être que le concept peut être appliqué aux dimensions des modèles d'exploration de données d'une manière avantageuse, en les traitant comme fractionnaires?
5. Dériver des lois de puissance comme celles qui entrent en jeu dans les fractales.
6. Étant donné que les fonctions rencontrées dans les fractales sont non linéaires, je me demande s'il existe une application pratique à la régression non linéaire.
7. La théorie du chaos a des relations tangentielles (et parfois surestimées) avec l'entropie, donc je me demande s'il existe un moyen de calculer l'entropie de Shannon (ou des limites sur elle et ses proches) à partir des fonctions utilisées dans la théorie du chaos, ou vice versa.
8. Identifier le comportement de doublement de période dans les données.
9. Identifier la structure optimale pour un réseau de neurones en sélectionnant intelligemment ceux qui sont les plus susceptibles de "s'auto-organiser" de manière utile.
10. Le chaos et les fractales, etc. sont également tangentiellement liés à la complexité de calcul, donc je me demande si la complexité pourrait être utilisée pour identifier les structures chaotiques, ou vice-versa.
11. J'ai entendu parler pour la première fois de l'exposant Lyapunov en termes de théorie du chaos et je l'ai remarqué plusieurs fois depuis lors dans des recettes de réseaux neuronaux spécifiques et des discussions sur l'entropie.

Il y a probablement des dizaines d'autres relations que je n'ai pas énumérées ici; tout cela est venu du haut de ma tête. Je ne suis pas étroitement intéressé par des réponses spécifiques à ces spéculations particulières, mais je les jette simplement là-bas comme exemples du type d'applications qui pourraient exister dans la nature. J'aimerais voir des réponses contenant des exemples de recherches actuelles et des implémentations existantes d'idées comme celle-ci, tant que les applications sont spécifiquement applicables à l'exploration de données.

Il y a probablement d'autres implémentations existantes que je ne connais pas, même dans des domaines que je connais mieux (comme la théorie de l'information, les ensembles flous et les réseaux neuronaux) et d'autres dont je suis encore moins compétent, comme la régression, donc plus de contribution est bienvenue. Mon objectif pratique ici est de déterminer s'il faut investir davantage dans l'apprentissage de certains aspects de la théorie du chaos, que je mettrai en veilleuse si je ne trouve pas d'utilité évidente.

Je l' ai fait une recherche de CrossValidated mais n'a pas vu de sujets qui traitent directement les applications utilitaires de la théorie du chaos data mining , etc. Le plus proche que je pouvais venir était le fil des statistiques La théorie du chaos, modélisation sans équation et non paramétrique , qui traite avec un sous-ensemble spécifique.

L'exploration de données (DM) en tant qu'approche pratique semble être presque complémentaire aux approches de modélisation mathématique (MM), et même contradictoire avec une théorie du chaos (CT). Je parlerai d'abord du DM et du général MM, puis je me concentrerai sur le CT.

Modélisation mathématique

Dans la modélisation économique, la DM était jusqu'à très récemment considérée comme un tabou, un hack pour rechercher des corrélations au lieu d'en apprendre davantage sur la causalité et les relations, voir cet article dans le blog SAS. L'attitude change, mais il existe de nombreux pièges liés aux relations fallacieuses , au dragage de données , au piratage informatique, etc.

Dans certains cas, le DM semble être une approche légitime même dans les domaines où les pratiques de MM sont établies. Par exemple, le DM peut être utilisé pour rechercher des interactions de particules dans des expériences physiques qui génèrent beaucoup de données, pensez aux briseurs de particules. Dans ce cas, les physiciens peuvent avoir une idée de l'apparence des particules et rechercher les motifs dans les jeux de données.

Théorie du chaos

Les systèmes chaotiques sont probablement particulièrement résistants à l'analyse avec les techniques DM. Considérez une méthode congruentale linéaire ( LCG ) familière utilisée dans les générateurs de nombres psudo-aléatoires courants . C'est essentiellement un système chaotique . C'est pourquoi il est utilisé pour "falsifier" des nombres aléatoires. Un bon générateur ne pourra pas être distingué d'une séquence de nombres aléatoires. Cela signifie que vous ne pourrez pas déterminer si c'est aléatoire ou non en utilisant des méthodes statistiques. Je vais également inclure l'exploration de données ici. Essayez de trouver un motif dans la séquence générée par RAND () avec l'exploration de données! Pourtant, encore une fois, c'est une séquence complètement déterministe comme vous le savez, et ses équations sont également extrêmement simples.

La théorie du chaos ne consiste pas à rechercher au hasard des modèles de similitude. La théorie du chaos implique l'apprentissage des processus et des relations dynamiques de telle sorte que de petites perturbations s'amplifient dans le système créant des comportements instables, tandis que dans ce chaos, des modèles stables émergent. Tous ces trucs sympas se produisent en raison des propriétés des équations elles-mêmes. Les chercheurs étudient ensuite ces équations et leurs systèmes. Ceci est très différent de l'état d'esprit de l'exploration de données appliquée.

Par exemple, vous pouvez parler de modèles d'auto-similitude tout en étudiant les systèmes chaotiques, et remarquer que les mineurs de données parlent également de rechercher des modèles. Cependant, ces conceptions de «modèle» de poignées très différemment. Le système chaotique générerait ces modèles à partir des équations. Ils peuvent essayer de trouver leur ensemble d'équations en observant des systèmes réels, etc., mais ils traitent toujours des équations à un moment donné. Les mineurs de données viendraient de l'autre côté, et ne connaissant pas ou ne devinant pas beaucoup la structure interne du système, essayeraient de rechercher des modèles. Je ne pense pas que ces deux groupes regardent jamais les mêmes systèmes ou ensembles de données réels.

Un autre exemple est la carte logistique la plus simple avec laquelle Feigenbaum a travaillé pour créer sa célèbre bifurcation doublant la période.

L'équation est ridiculement simple:

La chose la plus étrange que j'ai découverte en lisant la théorie du chaos afin de répondre à cette question était une pénurie étonnante de recherches publiées dans lesquelles l'exploration de données et ses proches exploitent la théorie du chaos. Ceci malgré un effort concerté pour les trouver, en consultant des sources telles que la théorie appliquée du chaos d'AB Ҫambel: un paradigme pour la complexité et Alligood, et le chaos: une introduction aux systèmes dynamiques (ce dernier est incroyablement utile comme livre de référence pour ce sujet) et piller leurs bibliographies. Après tout cela, je devais seulement proposer une seule étude qui pourrait être admissible et j'ai dû repousser les limites du «data mining» juste pour inclure ce cas de pointe: une équipe de l'Université du Texas effectuant des recherches sur les réactions de Belousov-Zhabotinsky (BZ) (qui étaient déjà sujettes à l'apériodicité) a découvert accidentellement des écarts dans l'acide malonique utilisé dans leurs expériences en raison de schémas chaotiques, les incitant à chercher un nouveau fournisseur. [1] Il y en a probablement d'autres - je ne suis pas un spécialiste de la théorie du chaos et je peux difficilement donner une évaluation exhaustive de la littérature - mais la disproportion flagrante avec des utilisations scientifiques ordinaires comme le problème des trois corps de la physique ne changerait pas beaucoup si nous les énumérions toutes. En fait, dans l'intervalle, lorsque cette question a été close, J'ai envisagé de le réécrire sous le titre «Pourquoi y a-t-il si peu d'implémentations de la théorie du chaos dans l'exploration de données et les domaines connexes?» Ceci est incompatible avec le sentiment mal défini mais largement répandu qu'il devrait y avoir une multitude d'applications dans l'exploration de données et les domaines connexes, comme les réseaux neuronaux, la reconnaissance de formes, la gestion de l'incertitude, les ensembles flous, etc.; après tout, la théorie du chaos est également un sujet de pointe avec de nombreuses applications utiles. J'ai dû réfléchir longuement et exactement où se situaient les frontières entre ces domaines afin de comprendre pourquoi ma recherche était vaine et mon impression fausse.

The; tldr Répondre

La courte explication de ce déséquilibre flagrant dans le nombre d'études et l'écart par rapport aux attentes peut être attribuée au fait que la théorie du chaos et l'exploration de données, etc. répondent à deux classes de questions soigneusement séparées; la dichotomie nette entre eux est évidente une fois signalée, mais si fondamentale qu'elle passe inaperçue, un peu comme regarder son propre nez. Il pourrait y avoir une certaine justification pour la croyance que la nouveauté relative de la théorie du chaos et des domaines comme l'exploration de données explique une partie du manque d'implémentations, mais nous pouvons nous attendre à ce que le déséquilibre relatif persiste même au fur et à mesure que ces champs mûrissent parce qu'ils abordent simplement des aspects distinctement différents de la même pièce. Presque toutes les implémentations à ce jour ont été dans des études de fonctions connues avec des sorties bien définies qui se sont avérées justement présenter quelques aberrations chaotiques déroutantes, tandis que l'exploration de données et les techniques individuelles comme les réseaux de neurones et les arbres de décision impliquent toutes la détermination d'une fonction inconnue ou mal définie. Des domaines connexes tels que la reconnaissance de formes et les ensembles flous peuvent également être considérés comme l'organisation des résultats de fonctions qui sont également souvent inconnues ou mal définies, lorsque les moyens de cette organisation ne sont pas non plus facilement apparents. Cela crée un gouffre pratiquement insurmontable qui ne peut être franchi que dans certaines circonstances rares - mais même ceux-ci peuvent être regroupés sous la rubrique d'un cas d'utilisation unique: empêcher les interférences apériodiques avec les algorithmes d'exploration de données. Des domaines connexes tels que la reconnaissance de formes et les ensembles flous peuvent également être considérés comme l'organisation des résultats de fonctions qui sont également souvent inconnues ou mal définies, lorsque les moyens de cette organisation ne sont pas non plus facilement apparents. Cela crée un gouffre pratiquement insurmontable qui ne peut être franchi que dans certaines circonstances rares - mais même ceux-ci peuvent être regroupés sous la rubrique d'un cas d'utilisation unique: empêcher les interférences apériodiques avec les algorithmes d'exploration de données. Des domaines connexes tels que la reconnaissance de formes et les ensembles flous peuvent également être considérés comme l'organisation des résultats de fonctions qui sont également souvent inconnues ou mal définies, lorsque les moyens de cette organisation ne sont pas non plus facilement apparents. Cela crée un gouffre pratiquement insurmontable qui ne peut être franchi que dans certaines circonstances rares - mais même ceux-ci peuvent être regroupés sous la rubrique d'un cas d'utilisation unique: empêcher les interférences apériodiques avec les algorithmes d'exploration de données.

Incompatibilité avec le flux de travail Chaos Science

Le flux de travail typique dans la «science du chaos» consiste à effectuer une analyse informatique des sorties d'une fonction connue, souvent à côté d'aides visuelles de l'espace des phases, comme les diagrammes de bifurcation, les cartes Hénon, les sections de Poincaré, les diagrammes de phase et les trajectoires de phase. Le fait que les chercheurs s'appuient sur l'expérimentation informatique illustre à quel point les effets chaotiques sont difficiles à trouver; ce n'est pas quelque chose que vous pouvez habituellement déterminer avec un stylo et du papier. Ils se produisent également exclusivement dans les fonctions non linéaires. Ce flux de travail n'est possible que si nous avons une fonction connue avec laquelle travailler. L'exploration de données peut produire des équations de régression, des fonctions floues et similaires, mais elles partagent toutes la même limitation: ce ne sont que des approximations générales, avec une fenêtre d'erreur beaucoup plus large. En revanche, les fonctions connues sujettes au chaos sont relativement rares, tout comme les plages d'entrées qui produisent des modèles chaotiques, un haut degré de spécificité est donc nécessaire même pour tester les effets chaotiques. Tout attracteur étrange présent dans l'espace des phases de fonctions inconnues se déplacerait ou disparaîtrait certainement à mesure que leurs définitions et leurs entrées changent, ce qui complique grandement les procédures de détection décrites par des auteurs comme Alligood, et al.

Le chaos en tant que contaminant dans les résultats de l'exploration de données

En fait, la relation de l'exploration de données et de ses apparentés à la théorie du chaos est pratiquement contradictoire. Cela est littéralement vrai si nous considérons la cryptanalyse de manière générale comme une forme spécifique d'exploration de données, étant donné que j'ai parcouru au moins un document de recherche sur l'exploitation du chaos dans les schémas de cryptage (je ne trouve pas la citation pour le moment, mais je peux chasser vers le bas sur demande). Pour un mineur de données, la présence de chaos est normalement une mauvaise chose, car les plages de valeurs apparemment absurdes qu'il génère peuvent compliquer considérablement le processus déjà ardu d'approximation d'une fonction inconnue. L'utilisation la plus courante du chaos dans l'exploration de données et les domaines connexes est de l'exclure, ce qui n'est pas une mince affaire. Si des effets chaotiques sont présents mais non détectés, leurs effets sur une entreprise d'exploration de données peuvent être difficiles à surmonter. Pensez simplement à la facilité avec laquelle un réseau neuronal ordinaire ou un arbre de décision pourrait surpasser les sorties apparemment absurdes d'un attracteur chaotique, ou comment des pointes soudaines dans les valeurs d'entrée pourraient certainement confondre l'analyse de régression et pourraient être attribuées à de mauvais échantillons ou à d'autres sources d'erreur. La rareté des effets chaotiques parmi toutes les fonctions et gammes d'entrée signifie que leur investigation serait gravement priorisée par les expérimentateurs.

Méthodes de détection du chaos dans les résultats de l'exploration de données

Certaines mesures associées à la théorie du chaos sont utiles pour identifier les effets apériodiques, comme l'entropie de Kolmogorov et l'exigence que l'espace de phase présente un exposant de Lyapunov positif. Ces deux éléments figurent sur la liste de contrôle pour la détection du chaos [2] fournie dans la théorie appliquée du chaos d'AB Ҫambel, mais la plupart ne sont pas utiles pour les fonctions approximatives, telles que l'exposant de Lyapunov, qui nécessite des fonctions définies avec des limites connues. La procédure générale qu'il décrit pourrait néanmoins être utile dans les situations d'exploration de données; L'objectif de elambel est finalement un programme de «contrôle du chaos», c'est-à-dire l'élimination des effets apériodiques interférents. [3] D'autres méthodes comme le calcul des dimensions de comptage de boîtes et de corrélation pour détecter les dimensions fractionnaires qui conduisent au chaos pourraient être plus pratiques dans les applications d'exploration de données que Lyapunov et d'autres sur sa liste. Un autre signe révélateur d'effets chaotiques est la présence de modèles de doublement de période (ou triplement et au-delà) dans les sorties de fonction, qui précède souvent le comportement apériodique (c'est-à-dire «chaotique») dans les diagrammes de phase.

Différencier les applications tangentielles

Ce cas d'utilisation principal doit être différencié d'une classe distincte d'applications qui ne sont que tangentiellement liées à la théorie du chaos. En y regardant de plus près, la liste des «applications potentielles» que j'ai fournie dans ma question consistait en fait presque entièrement en des idées pour tirer parti des concepts dont dépend la théorie du chaos, mais qui peuvent être appliqués indépendamment en l'absence de comportement apériodique (sauf le doublement de la période). J'ai récemment pensé à une nouvelle utilisation de niche potentielle, générant un comportement apériodique pour faire sortir les réseaux neuronaux des minima locaux, mais cela aussi ferait partie de la liste des applications tangentielles. Beaucoup d'entre eux ont été découverts ou étoffés à la suite de recherches sur la science du chaos, mais peuvent être appliqués à d'autres domaines. Ces "applications tangentielles" n'ont que des connexions floues entre elles mais forment une classe distincte, séparé par une frontière dure du cas d'utilisation principal de la théorie du chaos dans l'exploration de données; le premier exploite certains aspects de la théorie du chaos sans les modèles apériodiques, tandis que le second est uniquement consacré à exclure le chaos comme facteur de complication dans les résultats de l'exploration de données, peut-être avec l'utilisation de conditions préalables comme la positivité de l'exposant de Lyapunov et la détection d'un doublement de période . Si nous faisons la différence entre la théorie du chaos et d'autres concepts qu'elle utilise correctement, il est facile de voir que les applications de la première sont intrinsèquement limitées aux fonctions connues dans les études scientifiques ordinaires. Il y a vraiment de bonnes raisons d'être enthousiasmé par les applications potentielles de ces concepts secondaires en l'absence de chaos, mais aussi une raison de s'inquiéter des effets contaminants d'un comportement apériodique inattendu sur les efforts d'exploration de données lorsqu'il est présent. De telles occasions seront rares, mais cette rareté signifie également qu'elles ne seront pas détectées. La méthode de elambel pourrait cependant être utile pour éviter de tels problèmes.

[1] pp. 143-147, Alligood, Kathleen T .; Sauer, Tim D. et Yorke, James A., 2010, Chaos: An Introduction to Dynamical Systems, Springer: New York. [2] pp. 208-213, Ҫambel, AB, 1993, Théorie appliquée du chaos: un paradigme pour la complexité, Academic Press, Inc.: Boston. [3] p. 215, Ҫambel.