J'ai fait ma thèse de master sur les modèles génératifs profonds et je suis actuellement à la recherche d'un nouveau sujet.
Q: Quels sont les sujets de recherche «les plus chauds» qui retiennent beaucoup l'attention de la communauté d'apprentissage en profondeur ces derniers temps?
Quelques précisions:
- J'ai regardé des questions similaires et aucune n'a répondu à ma question.
- Je viens d'un milieu purement mathématique, je ne suis passé au deep learning qu'il y a un an, et mes recherches sur les modèles génératifs étaient principalement théoriques. Ce qui signifie que la plupart de mes travaux tournaient autour de modèles probabilistes structurés et d'inférence approximative. Cela dit, je n'ai pas encore exploré les applications réelles de l'apprentissage en profondeur.
- J'ai fait mes devoirs avant de poser la question. Mon objectif était d'obtenir les commentaires d'IA SE sur le sujet et de voir sur quoi les gens travaillent.
deep-learning
ai-field
Achraf Oussidi
la source
la source
Réponses:
Les sujets brûlants d'aujourd'hui pourraient être les cendres froides et humides de demain. Par exemple, la vitesse de convergence des approches CNN et LSTM, en particulier en combinaison, a détourné une attention considérable des conceptions RNN de base.
De même, les sujets froids d'aujourd'hui pourraient être les braises brûlantes de demain. Bien sûr, certains des sujets froids resteront froids. Le point idéal peut être d'identifier ceux qui se réchauffent et sont susceptibles d'être des éléments de construction durables de la technologie future.
Réseaux d'attention résiduelle
Les réseaux d'attention résiduelle, comme les réseaux LSTM, sont une amélioration par rapport aux RNN utilisant une approche différente. Parce que les réseaux d'attention sont conçus pour conserver les ressources, ils convergent plus rapidement ou avec moins de demande en matériel et en réseau pour prendre en charge l'exécution parallèle.
Développement automatisé de modèles non cartésiens
La recherche sur l'automatisation de la modélisation est la clé de nombreuses applications d'IA. Certains des algorithmes en cours de développement n'extraient pas simplement des tenseurs d'entités (tableaux, matrices, cubes et hyper-cubes), mais développent des modèles de graphes, dirigés ou associatifs, avec ou sans cycles autorisés.
Topologies de signaux qui prennent en charge les équilibres
Beaucoup ignorent l'importance des GAN, non pas parce qu'ils peuvent faire des choses intéressantes avec les images, mais en raison de la façon dont ils s'écartent de la topologie simple du chemin du signal où la convergence sur un ensemble formé de paramètres est obtenue sur un tableau unidimensionnel de couches et de blocs de couches.
Les composants discriminants et génératifs dans la conception GAN sont décrits en détail dans une autre question AI Stack Exchange sur * Comprendre la fonction de perte GAN . Bien que la génération d'images à partir de l'approche GAN et de ses enfants conceptuels démontre une nouvelle capacité dans l'espace de réseau artificiel, l'ampleur de cette signification multi-réseau peut ne pas être immédiatement évidente. Ce n'est pas une pile en profondeur de couches, mais une pile de deux réseaux profonds dans une topologie en huit, conceptuellement un peu comme une bande de Möbius.
Cette topologie crée un équilibre entre deux réseaux, le générateur (G) et le discriminant (D). Son concepteur l'a qualifié de relation contradictoire parce que G et D jouent des rôles opposés. Cependant, leur action dans le système est en fait collaborative, créant un équilibre qui ressemble beaucoup à un équilibre chimique ou à une symbiose en biologie, de sorte qu'un objectif spécifique est atteint. Cela peut révéler la direction la plus prometteuse de l'IA aujourd'hui.
Concevoir des topologies de signaux qui prennent en charge des formes supplémentaires de collaboration et de symbiose entre les réseaux, où chaque réseau est un composant qui apprend son rôle conjointement avec d'autres réseaux de composants, de sorte que le système agrégé apprenne sa fonction peut synthétiser des formes d'intelligence artificielle que les DNN ne peuvent pas.
Les systèmes basés sur des règles et les réseaux profonds sont unidimensionnels en termes de flux de signaux. En eux-mêmes, il se peut qu'ils ne se rapprochent jamais des caractéristiques les plus notables du cerveau humain.
Traitement parallèle utilisant des GPU comme DSP
Les implémentations VLSI des réseaux de dopage sont importantes, et il existe maintenant des implémentations telles que https://github.com/Hananel-Hazan/bindsnet qui exploitent l'accélération matérielle du GPU pour les enquêter sans accès aux puces VLSI développées par de grandes entreprises.
Reconnaissance vocale et synthèse pour TTS de bout en bout
L'émergence récente de l'excellence dans la synthèse en utilisant des systèmes tels que WaveNet de Google a ouvert la porte à des applications TTS (text to sound) plus précises, de sorte que c'est probablement le bon moment pour devenir un expert de l'enregistrement vocal à utiliser dans des ensembles d'exemples de formation, mais un mauvais moment pour démarrer une maison de production vocale personnalisée en utilisant des haut-parleurs en direct.
Véhicules automatisés
Les véhicules automatisés de différents types ont besoin d'experts en physique des véhicules, en construction automobile, en aéronautique et en produits de consommation pour une large gamme de types de véhicules avec de fortes incitations économiques et de sécurité pour la semi-automatisation et l'automatisation complète.
Sommaire
Il peut être difficile de découvrir à l'avance ce que les technologies chaudes de l'IA resteront dominantes dans cinq ans ou laquelle des technologies de réchauffement sera alors brûlante, mais ce qui précède sont des technologies solides très prometteuses au début et pour lesquelles il y a beaucoup d'activité, demandes des industriels et des consommateurs.
la source
Eh bien, il y a certainement beaucoup de domaines dans lesquels vous pouvez contribuer à la recherche. Puisque vous dites que vous avez fait une thèse de maîtrise sur les modèles génératifs profonds, je suppose que vous êtes à l'aise dans la machine et l'apprentissage profond.
L'épidémiologie numérique est l'un des domaines où vous pouvez certainement appliquer l'apprentissage en profondeur. C'est encore un domaine relativement nouveau par rapport à d'autres branches de la biologie computationnelle. Un exemple serait de voir l'impact des enregistrements numériques en ligne sur la prédiction et la prévalence des maladies.
Ces enregistrements en ligne peuvent être reçus de différents moteurs de recherche, de sites de médias sociaux et parfois d'agences gouvernementales. Par exemple, vous pouvez voir ici un exemple de terme de recherche "Cancer de la peau" et l'enregistrement correspondant montre l'intérêt de ce terme à travers le globe, ces données peuvent être utilisées pour trouver de nouvelles hypothèses. Par exemple, si les données montrent que nous sommes plus intéressés par une région spécifique du monde / pays, cela peut montrer que la maladie spécifique est plus courante dans cette région / partie / pays du monde. Des hypothèses similaires peuvent être construites, dessinées et testées. Et à coup sûr, l'apprentissage en profondeur peut améliorer la précision des modèles traditionnels utilisés dans la validation de ces hypothèses.
Un autre domaine de recherche intéressant pourrait être la comparaison des réseaux neuronaux à court terme avec les modèles de séries chronologiques traditionnels. Je ne crois pas qu'il existe une recherche mûre dans ce domaine. Vous pouvez peut-être partir de ce bon blog ici .
Le traitement du signal est peut-être un autre domaine très intéressant, mais aussi très pratique pour construire et valider des théories sur des modèles de Deep Learning. Cependant, les mathématiques dans le traitement du signal peuvent être assez difficiles à obtenir. Toutes ces options, cependant, vous obligeront à travailler en équipe avec des personnes des domaines spécifiques. C'est si vous voulez produire une recherche de haute qualité.
D'autres domaines peuvent être la PNL, en particulier le cas de la traduction linguistique de l'hindi vers l'ourdou ou le persan, le marketing numérique en ligne, les sciences du comportement, la fabrication et l'investissement. Des domaines de recherche spécifiques pourraient être encore améliorés si vous connaissez des experts de ces domaines.
la source