Quelles sont les différences entre 'epoch', 'batch' et 'minibatch'?

Autant que je sache, lors de l'adoption de l'algorithme d'apprentissage de Stochastic Gradient Descent, quelqu'un utilise 'epoch' pour l'ensemble de données complet, et 'batch' pour les données utilisées dans une seule étape de mise à jour, tandis qu'une autre utilise respectivement 'batch' et 'minibatch', et les autres utilisent 'epoch' et 'minibatch'. Cela apporte beaucoup de confusion en discutant.

Alors, quel est le dicton correct? Ou ce ne sont que des dialectes qui sont tous acceptables?

• Epoch signifie un passage sur le set d'entraînement complet
• Batch signifie que vous utilisez toutes vos données pour calculer le gradient au cours d'une itération.
• Mini-lot signifie que vous ne prenez qu'un sous-ensemble de toutes vos données au cours d'une itération.

$n$

$n$

$b$$b$$n$$n/b$

$n$$n$

"Époque" signifie généralement exposer un algorithme d'apprentissage à l'ensemble des données d'apprentissage. Cela n'a pas toujours de sens car nous générons parfois des données.

"Lot" et "Minibatch" peuvent être déroutants.

Les exemples d'apprentissage doivent parfois être «groupés», car toutes les données ne peuvent pas nécessairement être exposées simultanément à l'algorithme (en raison de contraintes de mémoire en général).

Dans le contexte de SGD, "Minibatch" signifie que le gradient est calculé sur l’ensemble du lot avant la mise à jour des poids. Si vous n'utilisez pas de "minibatch", chaque exemple d'apprentissage d'un "lot" met à jour les paramètres de l'algorithme d'apprentissage de manière indépendante.