Les réseaux de neurones utilisent-ils un codage efficace?

Ma question concerne la relation entre l'hypothèse de codage efficace qui est décrite sur la page Wikipedia sur le codage efficace et les algorithmes d'apprentissage des réseaux de neurones.

Quelle est la relation entre l'hypothèse de codage efficace et les réseaux de neurones?

Existe-t-il des modèles de réseaux neuronaux explicitement inspirés par l'hypothèse de codage efficace?

Ou serait-il plus juste de dire que tous les algorithmes d'apprentissage des réseaux de neurones sont au moins implicitement basés sur un codage efficace?

neural-networks information-theory Mike NZ
la source

Peut-être que vous voulez des encodeurs automatiques clairsemés ? (Si votre intérêt est moins technique et plus large / philosophique, la suggestion de l'utilisateur kenorb peut être appropriée.)

GeoMatt22

Question interessante. Je suppose que les NN sont loin de ce que nous pouvons considérer comme «efficaces». Je pense que les techniques couramment utilisées telles que Dropout chercheraient en fait à diminuer l'efficacité du codage.

kbrose

Une autre référence: l'hypothèse de billet de loterie, arxiv.org/abs/1803.03635 le document parle de trouver les sous-réseaux qui travaillent dur mais je pense qu'il peut y avoir des connexions à un codage efficace

kbrose

Je ne suis pas un expert en théorie de l'information, mais je ne crois pas qu'il existe de relation entre le codage efficace de ce que font les NN, et je ne connais aucune tentative historique ou actuelle d'incorporer un codage efficace. Cependant, il pourrait être vrai que les NN codent les signaux efficacement: arxiv.org/abs/1503.02406

shadowtalker

Je n'ai pas (encore) assez pour en faire une réponse, mais cela me semble se rapporter à la question de savoir si les NN sont vraiment juste en train de mémoriser, plutôt que d'apprendre.

Bill Clark

Réponses:

Je pense que l'on peut affirmer qu'un lien a été établi. Je m'excuse de ne pas avoir publié ma source car je ne l'ai pas trouvée, mais cela provenait d'une ancienne diapositive présentée par Hinton. Dans ce document, il a affirmé que l'une des façons fondamentales de penser pour ceux qui font de l'apprentissage automatique (car la présentation était antérieure à l'utilisation courante du mot apprentissage en profondeur) était qu'il existe une transformation optimale des données de sorte que les données puissent être facilement appris. Je crois que pour les réseaux neuronaux, la «transformation optimale» des données par le biais de l'hélice arrière, est l'hypothèse de codage efficace en action. De la même manière que, étant donné un noyau approprié, de nombreux espaces peuvent être facilement classés avec des modèles linéaires, en apprenant la bonne façon de transformer et de stocker les données IS de manière analogue à laquelle et comment les neurones doivent être organisés pour représenter les données.

Emu anonyme
la source