Qu'est-ce que le «backprop»?

Réponses:

13

"Backprop" est identique à "backpropagation": c'est juste une façon plus courte de le dire. Il est parfois abrégé en "BP".

Franck Dernoncourt
la source
7

«Backprop» est l'abréviation de «backpropagation of error» afin d'éviter toute confusion lors de l'utilisation du terme de backpropagation .

Fondamentalement, la rétropropagation fait référence à la méthode de calcul du gradient de la fonction d'erreur au niveau de la casse par rapport aux poids pour un réseau à action directe Werbos . Et backprop fait référence à une méthode d'apprentissage qui utilise la backpropagation pour calculer le gradient.

On peut donc dire qu'un réseau backprop est un réseau feedforward formé par backpropagation .

Le terme «backprop standard» est un euphémisme pour la règle du delta généralisé qui est la méthode de formation supervisée la plus largement utilisée.

Source: Qu'est-ce que backprop? sur la FAQ du groupe de discussion Usenet comp.ai.neural-nets

Références:

  • Werbos, PJ (1974). Au-delà de la régression: nouveaux outils de prédiction et d'analyse dans les sciences du comportement. Thèse de doctorat, Harvard University.
  • Werbos, PJ (1994). Les racines de la rétropropagation: des dérivés ordonnés aux réseaux de neurones et aux prévisions politiques, Wiley Interscience.
  • Bertsekas, DP (1995), Programmation non linéaire, Belmont, MA: Athena Scientific, ISBN 1-886529-14-0.
  • Bertsekas, DP et Tsitsiklis, JN (1996), Neuro-Dynamic Programming, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
  • Polyak, BT (1964), "Quelques méthodes pour accélérer la convergence des méthodes d'itération", Z. Vycisl. Tapis. Je suis à. Fiz., 4, 1-17.
  • Polyak, BT (1987), Introduction to Optimization, NY: Optimization Software, Inc.
  • Reed, RD et Marks, RJ, II (1999), Neural Smithing: Supervised Learning in Feedforward Artificial Neural Networks, Cambridge, MA: The MIT Press, ISBN 0-262-18190-8.
  • Rumelhart, DE, Hinton, GE et Williams, RJ (1986), «Learning internal representation by error propagation», dans Rumelhart, DE et McClelland, JL, éds. (1986), Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1, 318-362, Cambridge, MA: The MIT Press.
  • Werbos, PJ (1974/1994), The Roots of Backpropagation, NY: John Wiley & Sons. Comprend le doctorat Harvard de 1974 de Werbos thèse, Beyond Regression.
kenorb
la source
2

Oui, comme Franck l'a dit à juste titre, "backprop" signifie backpropogation, qui est fréquemment utilisé dans le domaine des réseaux de neurones pour l'optimisation des erreurs.

Pour une explication détaillée, je rappelle ce tutoriel sur le concept de backpropogation par un très bon livre de Michael Nielsen.

Dawny33
la source
0

Dans l'apprentissage automatique, la rétropropagation (backprop, BP) est un algorithme largement utilisé dans la formation de réseaux de neurones à action directe pour l'apprentissage supervisé. Il existe des généralisations de la rétropropagation pour d'autres réseaux de neurones artificiels (RNA) et pour les fonctions en général - une classe d'algorithmes appelés génériquement "rétropropagation".

ALFIANSYAH
la source
Bonjour, bienvenue sur AI Stack Exchange. Plutôt que de publier des réponses de Wikipedia, il est encouragé d'exprimer les réponses aux questions en un seul mot, bien que Wikipedia puisse être utilisé pour soutenir un argument ou aider à dériver une explication. Veuillez mettre à jour votre réponse pour être plus dans ce sens.
Jaden Travnik
0

C'est un nom de fantaisie pour la règle de chaîne multivariable.

FourierFlux
la source
Bonjour. Pourriez-vous soutenir cette réponse avec un peu plus de détails? (Je réalise que c'est une question simple, mais je pense que votre réponse mérite une explication plus
approfondie