Comment fonctionne le terme de momentum pour l'algorithme de rétropropagation?

Lors de la mise à jour des poids d'un réseau neuronal en utilisant l'algorithme de rétropropagation avec un terme de momentum, le taux d'apprentissage devrait-il également être appliqué au terme de momentum?

La plupart des informations que j'ai pu trouver sur l'utilisation de l'élan ont les équations ressemblant à ceci:

$W_{i}' = W_{i} - \alpha \Delta W_i + \mu \Delta W_{i-1}$

où est le taux d'apprentissage et est le terme de momentum.$\alpha$$\mu$

si le terme est plus grand que le terme , alors dans la prochaine itération, le de l'itération précédente aura une plus grande influence sur le poids que l'actuel.α Δ $\mu$$\alpha$$\Delta W$

Est-ce là le but du terme élan? ou l'équation devrait-elle ressembler davantage à ceci?

$W_{i}' = W_{i} - \alpha( \Delta W_i + \mu \Delta W_{i-1})$

c'est à dire. tout mettre à l'échelle par le taux d'apprentissage?

En utilisant la rétropropagation avec élan dans un réseau avec poids différents la ème correction pour le poids est donnée parW k i W $n$$W_k$$i$$W_k$

∂$\Delta W_k(i) = -\alpha \frac{\partial E}{\partial W_k} + \mu \Delta W_k(i-1)$ où est la variation de la perte par rapport à . W$\frac{\partial E}{\partial W_k}$$W_k$

L'introduction de la quantité de mouvement permet l'atténuation des oscillations dans la descente de gradient. L'idée géométrique derrière cette idée peut probablement être mieux comprise en termes d'analyse de l'espace propre dans le cas linéaire. Si le rapport entre la valeur propre la plus basse et la plus grande est grand, alors la descente en gradient est lente même si le taux d'apprentissage est grand en raison du conditionnement de la matrice. L'élan introduit un certain équilibre dans la mise à jour entre les vecteurs propres associés à des valeurs propres plus petites et plus grandes.

Pour plus de détails, je me réfère à

http://page.mi.fu-berlin.de/rojas/neural/chapter/K8.pdf