Relation entre le taux d'apprentissage et le nombre de couches cachées?

10

Existe-t-il une règle empirique entre la profondeur d'un réseau neuronal et le taux d'apprentissage? J'ai remarqué que plus le réseau est profond, plus le taux d'apprentissage doit être faible.

Si c'est exact, pourquoi?

neural-networks deep-learning hyperparameter rule-of-thumb user_1177868
la source
1
une discussion connexe pour un modèle de stimulation. stats.stackexchange.com/questions/168666/…
Haitao Du
La discussion fournit des informations utiles mais elle ne répond pas à ma question. Pourriez-vous s'il vous plaît commenter cela?
user_1177868
1
oui, c'est pourquoi je l'ai mis en commentaire mais pas de réponse, et j'ai voté pour vos questions.
Haitao Du

Réponses:

4

Cette question a été répondue ici:

Avec les réseaux de neurones, le taux d'apprentissage devrait-il être en quelque sorte proportionnel à la taille des couches cachées? Doivent-ils s’affecter mutuellement?

La réponse courte est oui, il y a une relation. Bien que la relation ne soit pas aussi triviale, tout ce que je peux vous dire, c'est que la surface d'optimisation devient plus complexe à mesure que le nombre de couches cachées augmente, donc des taux d'apprentissage plus petits sont généralement meilleurs. Bien que le blocage dans les minima locaux soit une possibilité avec un faible taux d'apprentissage, c'est beaucoup mieux qu'une surface complexe et un taux d'apprentissage élevé.

NUL
la source