Qu'est-ce que le «backprop»?

Que signifie "backprop"? Le terme "backprop" est-il fondamentalement le même que "backpropagation" ou a-t-il une signification différente?

"Backprop" est identique à "backpropagation": c'est juste une façon plus courte de le dire. Il est parfois abrégé en "BP".

«Backprop» est l'abréviation de «backpropagation of error» afin d'éviter toute confusion lors de l'utilisation du terme de backpropagation .

Fondamentalement, la rétropropagation fait référence à la méthode de calcul du gradient de la fonction d'erreur au niveau de la casse par rapport aux poids pour un réseau à action directe ^Werbos . Et backprop fait référence à une méthode d'apprentissage qui utilise la backpropagation pour calculer le gradient.

On peut donc dire qu'un réseau backprop est un réseau feedforward formé par backpropagation .

Le terme «backprop standard» est un euphémisme pour la règle du delta généralisé qui est la méthode de formation supervisée la plus largement utilisée.

Source: Qu'est-ce que backprop? sur la FAQ du groupe de discussion Usenet comp.ai.neural-nets

Références:

• Werbos, PJ (1974). Au-delà de la régression: nouveaux outils de prédiction et d'analyse dans les sciences du comportement. Thèse de doctorat, Harvard University.
• Werbos, PJ (1994). Les racines de la rétropropagation: des dérivés ordonnés aux réseaux de neurones et aux prévisions politiques, Wiley Interscience.
• Bertsekas, DP (1995), Programmation non linéaire, Belmont, MA: Athena Scientific, ISBN 1-886529-14-0.
• Bertsekas, DP et Tsitsiklis, JN (1996), Neuro-Dynamic Programming, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
• Polyak, BT (1964), "Quelques méthodes pour accélérer la convergence des méthodes d'itération", Z. Vycisl. Tapis. Je suis à. Fiz., 4, 1-17.
• Polyak, BT (1987), Introduction to Optimization, NY: Optimization Software, Inc.
• Reed, RD et Marks, RJ, II (1999), Neural Smithing: Supervised Learning in Feedforward Artificial Neural Networks, Cambridge, MA: The MIT Press, ISBN 0-262-18190-8.
• Rumelhart, DE, Hinton, GE et Williams, RJ (1986), «Learning internal representation by error propagation», dans Rumelhart, DE et McClelland, JL, éds. (1986), Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1, 318-362, Cambridge, MA: The MIT Press.
• Werbos, PJ (1974/1994), The Roots of Backpropagation, NY: John Wiley & Sons. Comprend le doctorat Harvard de 1974 de Werbos thèse, Beyond Regression.

Oui, comme Franck l'a dit à juste titre, "backprop" signifie backpropogation, qui est fréquemment utilisé dans le domaine des réseaux de neurones pour l'optimisation des erreurs.

Pour une explication détaillée, je rappelle ce tutoriel sur le concept de backpropogation par un très bon livre de Michael Nielsen.

Dans l'apprentissage automatique, la rétropropagation (backprop, BP) est un algorithme largement utilisé dans la formation de réseaux de neurones à action directe pour l'apprentissage supervisé. Il existe des généralisations de la rétropropagation pour d'autres réseaux de neurones artificiels (RNA) et pour les fonctions en général - une classe d'algorithmes appelés génériquement "rétropropagation".

C'est un nom de fantaisie pour la règle de chaîne multivariable.