comprendre la normalisation des lots

Dans l'article Batch Normalisation: Accelerating Deep Network Training b y Reducing Internal Covariate Shift ( ici ) Avant d'expliquer le processus de normalisation par lots, l'article essaie d'expliquer les problèmes liés à (je ne comprends pas quel est le problème exact abordé ici) .

extrait de l'article 2, paragraphe 2:

Nous pourrions envisager de blanchir les activations à chaque étape de la formation ou à un certain intervalle, soit en modifiant directement le réseau, soit en changeant les paramètres de l'algorithme d'optimisation en fonction des valeurs d'activation du réseau (Wiesler et al., 2014; Raiko et al., 2012 ; Povey et al., 2014; Desjardins et Kavukcuoglu). Cependant, si ces modifications sont entrecoupées des étapes d'optimisation, alors l'étape de descente de gradient peut tenter de mettre à jour les paramètres d'une manière qui nécessite la mise à jour de la normalisation, ce qui réduit l'effet de l'étape de gradient. Par exemple, considérons une couche avec l'entrée u qui ajoute le biais appris et normalise le résultat en soustrayant la moyenne de l'activation calculée sur les données d'apprentissage:$b$$\hat x= x − E[x]$où est l'ensemble des valeurs de sur l'ensemble d'apprentissage, et .$x = u + b, X = {x_{1...N}}$$x$$E[x] = \frac 1 N(\sum_{i=1}^nx_i)$

Si une étape de descente de gradient ignore la dépendance de E [x] sur b, alors elle mettra à jour , où ∆b ​​∝ - \ partial l / \ partial \ hat x . Alors u + (b + ∆b) - E [u + (b + ∆b)] = u + b - E [u + b] \ tag 1 .$b ← b + ∆b$$∆b ∝ −\partial l/\partial\hat x$

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$

Ainsi, la combinaison de la mise à jour de b et du changement ultérieur de normalisation n'a entraîné aucun changement dans la sortie de la couche ni, par conséquent, la perte. Au fur et à mesure de la formation, b augmentera indéfiniment tandis que la perte restera fixe. Ce problème peut s'aggraver si la normalisation non seulement centre mais met également à l'échelle les activations.

voici ma compréhension de la littérature:

1. Nous avons un lot de taille N (un lot de formation)

2. Soit deux couches cachées arbitraires connectées l'une à l'autre (L1 et L2) connectées par les paramètres et$W$$b$

3. la sortie sortant de L1 est x1

4. $u = x1W$ (c'est là que commence la littérature ci-dessus. la dimension de u est MxN) (M est le nombre d'unités dans L2)

5. $x = u+b$ (dimension b = dimension x = dimension u = MxN)

6. Maintenant, avant d'introduire x dans L2, nous le centrons en soustrayant la moyenne de de chaque entrée dans ( )$x$$x$$\hat x= x − E[x]$

7. Nous calculons la perte et rétropropagons le gradient et mettons à jour uniquement le cette couche afin de lui donner un test d'intégrité. Nouveau =$b$$b$$b + \Delta b$

8. Nous l'exécutons à nouveau sur le même lot avec mis à jour$b$

9. répéter 3 et 4

10. $x_{new} = u+b + \Delta b$ (dimension b, = dimension x = dimension u = MxN)$\Delta b$

11. Maintenant, avant d'introduire x dans L2, nous le centrons en soustrayant la moyenne de de chaque entrée dans ( ). qui est le même que ce qui était calculé avant la mise à jour de b et donc la mise à jour de b devait avoir un effet sur la formation$x$$x$$\hat x = x + \Delta b − E[x + \Delta b] = x - E[x]$

Ma question concerne cette partie de l'extrait:

"Si une étape de descente de gradient ignore la dépendance de E [x] sur b, alors elle mettra à jour , où . Alors "$b ← b + ∆b$$∆b ∝ −\partial l/\partial\hat x$

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$

Pourquoi est-ce

" " dépend de ce qui précède? Quel est même l'intérêt de ce morceau? Veuillez également noter l'utilisation du mot "Alors" (en gras) impliquant que la déclaration tire nécessairement la causalité de ce qui précède

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$

Supposons que vous essayez de minimiser la perte suivante pour une tâche donnée, oùest la distance euclédienne et la sortie prédite est pour plus de simplicité. Les gradients peuvent alors être calculés comme suit:

$$\ell(y, \hat{y}) = \frac{1}{2}\| y - \hat{y}\|^2,$$ $\| \cdot\|$$\hat{y} =\hat{x}$

$$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot \frac{\partial\hat{x}}{\partial b}, \hspace{20pt} \Delta \omega = - \frac{\partial\ell}{\partial\hat{x}} \cdot \frac{\partial\hat{x}}{\partial \omega}$$

Maintenant, le gradient de par rapport au biais est$\hat{x}$$b$

$$\frac{\partial\hat{x}}{\partial b} = \frac{\partial}{\partial b}(x-E[x]) = \frac{\partial}{\partial b}\left((u+b)-E[(u+b)]\right) = 1 - \frac{\partial}{\partial b}E[(u+b)]$$

Ignorer le fait que dépend de rend le gradient ci-dessus égal à 1, et continue donc à mettre à jour le biais comme suit:$E(x)$$b$

$$\frac{\partial\hat{x}}{\partial b} = 1 - \frac{\partial}{\partial b}E[x] = 1 -0 = 1$$ puis

$$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot (1), \hspace{20pt} b \leftarrow b + \Delta b$$

Sinon, si vous voulez considérer cette dépendance, le gradient devient 0, et donc pas de mise à jour comme suit:

$$\frac{\partial\hat{x}}{\partial b} = 1 - \frac{\partial}{\partial b}E[u+b] = 1 - \left(\frac{\partial}{\partial b}E[u]+\frac{\partial}{\partial b}E[b]\right) = 1 - (0+1) = 0$$ puis $$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot (0), \hspace{20pt} b \leftarrow b + 0$$

Dans les deux cas, quelle que soit la mise à jour du biais, la fonction de perte restera fixe,

$$u+(b+\Delta b)−E[u+(b+∆b)]=u+b−E[u+b],$$

cependant, dans le premier cas, le biais augmentera indéfiniment.