Ajustement dynamique de l'architecture NN: inventer l'inutile?

Je commence mon voyage de doctorat et l'objectif ultime que je me suis fixé est de développer des RNA qui surveilleraient l'environnement dans lequel ils travaillent et adapteraient dynamiquement leur architecture au problème en cours. L'implication évidente est la temporalité des données: si l'ensemble de données n'est pas continu et ne change pas avec le temps, pourquoi s'ajuster du tout?

La grande question est: avec la montée récente du deep learning, est-ce toujours un sujet pertinent? Les FFNN ont-ils une chance de se trouver une niche dans les problèmes de dérive de concept?

Je crains de surcharger le fil avec trop de questions, mais celle-ci n'est pas entièrement hors sujet: je connais les RNN, mais j'ai une expérience limitée (ok, aucune ou purement théorique) avec eux; Je pense que l'adaptation de l'architecture dynamique doit être un sujet pertinent dans le contexte des RNN. La question est, a-t-on déjà répondu, et vais-je réinventer la roue?

Post-Posté sur MetaOptimize

Les réseaux de neurones en cascade-corrélation ajustent leur structure en ajoutant des nœuds cachés pendant le processus de formation, donc cela peut être un point de départ. La plupart des autres travaux que j'ai vus qui ajustent automatiquement le nombre de couches, le nombre de nœuds cachés, etc., d'un réseau de neurones utilisent des algorithmes évolutifs.

Malheureusement, ce travail est hors de mon domaine, donc je ne peux pas recommander de documents ou de références en particulier pour vous aider à démarrer. Je peux vous dire que je n'ai vu aucun travail qui tente d'optimiser conjointement la structure et les paramètres du réseau simultanément au sein de la communauté d'apprentissage en profondeur. En fait, la plupart des architectures d'apprentissage en profondeur sont basées sur l'apprentissage goulu d'une seule couche à la fois, ce qui fait même de l'apprentissage en ligne des réseaux de neurones profonds un domaine plutôt intact (le travail de Martens et al. Sur Hessian Free Optimization étant une exception notable).

Une autre raison d'envisager de développer de nouvelles approches pour les réseaux de neurones constructifs (tels que l'algorithme CC @alto mentionné) est dans les applications en dehors des statistiques . En particulier, dans les neurosciences théoriques et les sciences cognitives, les réseaux de neurones constructifs sont souvent utilisés en raison d'une similitude métaphorique avec le développement et la neurogenèse. Pour un exemple d'utilisation intensive de la corrélation en cascade pour cela, jetez un œil aux publications de Thomas R. Shultz . Malheureusement, l'approche de corrélation en cascade est irréaliste sur le plan biologique et si vous avez un virage en neurosciences, il convient de considérer comment de nouveaux NN avec une architecture réglable pourraient être utilisés comme de meilleurs modèles de développement et / ou de neurogenèse.