Exemple pas à pas de différenciation automatique en mode inverse

Je ne sais pas si cette question appartient ici, mais elle est étroitement liée aux méthodes de gradient en optimisation, qui semble être sur le sujet ici. Quoi qu'il en soit, n'hésitez pas à migrer si vous pensez qu'une autre communauté a une meilleure expertise dans le sujet.

En bref, je cherche un exemple étape par étape de différenciation automatique en mode inverse . Il n'y a pas beaucoup de littérature sur le sujet et l'implémentation existante (comme celle de TensorFlow ) est difficile à comprendre sans connaître la théorie qui la sous-tend. Je serais donc très reconnaissant si quelqu'un pouvait montrer en détail ce que nous transmettons , comment nous le traitons et ce que nous retirons du graphique de calcul.

Quelques questions avec lesquelles j'ai le plus de difficulté:

• graines - pourquoi en avons-nous besoin?
• règles de différenciation inversée - Je sais comment faire la différenciation vers l'avant, mais comment allons-nous en arrière? Par exemple, dans l'exemple de cette section , comment savons-nous que ?$\bar{w_2}=\bar{w_3}w_1$
• travaillons-nous uniquement avec des symboles ou passons-nous par des valeurs réelles ? Par exemple, dans le même exemple , les symboles ou valeurs et sont-ils?¯ w $w_i$$\bar{w_i}$

Disons que nous avons l'expression $z = x_1x_2 + \sin(x_1)$ et que nous voulons trouver des dérivées $\frac{dz}{dx_1}$ et$\frac{dz}{dx_2}$ . L'AD en mode inverse divise cette tâche en 2 parties, à savoir les passes avant et arrière.

Passe avant

Tout d'abord, nous décomposons notre expression complexe en un ensemble d'expressions primitives, c'est-à-dire des expressions consistant au plus en un seul appel de fonction. Notez que je renomme également les variables d'entrée et de sortie pour des raisons de cohérence, bien que ce ne soit pas nécessaire:

$$w_1 = x_1$$ $$w_2 = x_2$$ $$w_3 = w_1w_2$$ $$w_4 = \sin(w_1)$$ $$w_5 = w_3 + w_4$$ $$z = w_5$$

L'avantage de cette représentation est que les règles de différenciation pour chaque expression distincte sont déjà connues. Par exemple, nous savons que la dérivée du $\sin$ est $\cos$ , et donc $\frac{dw_4}{dw_1} = \cos(w_1)$. Nous utiliserons ce fait en passe inverse ci-dessous.

Essentiellement, la transmission directe consiste à évaluer chacune de ces expressions et à enregistrer les résultats. Disons que nos entrées sont: $x_1 = 2$ et $x_2 = 3$ . Ensuite nous avons:

$$w_1 = x_1 = 2$$ $$w_2 = x_2 = 3$$ $$w_3 = w_1w_2 = 6$$ $$w_4 = \sin(w_1) ~= 0.9$$ $$w_5 = w_3 + w_4 = 6.9$$ $$z = w_5 = 6.9$$

Passe arrière

C'est là que la magie commence, et cela commence par la règle de la chaîne . Dans sa forme de base, la règle de chaîne stipule que si vous avez la variable $t(u(v))$ qui dépend de $u$ qui, à son tour, dépend de $v$ , alors:

$$\frac{dt}{dv} = \frac{dt}{du}\frac{du}{dv}$$

ou, si $t$ dépend de $v$ via plusieurs chemins / variables $u_i$ , par exemple:

$$u_1 = f(v)$$ $$u_2 = g(v)$$ $$t = h(u_1, u_2)$$

alors (voir la preuve ici ):

$$\frac{dt}{dv} = \sum_i \frac{dt}{du_i}\frac{du_i}{dv}$$

En termes de graphe d'expression, si nous avons un nœud final $z$ et des nœuds d'entrée $w_i$ , et le chemin de $z$ à $w_i$ passe par les nœuds intermédiaires $w_p$ (c'est-à-dire $z = g(w_p)$ où $w_p = f(w_i)$ ), on peut trouver la dérivée $\frac{dz}{dw_i}$ as

$$\frac{dz}{dw_i} = \sum_{p \in parents(i)} \frac{dz}{dw_p} \frac{dw_p}{dw_i}$$

En d'autres termes, pour calculer la dérivée de la variable de sortie $z$ rapport à toute variable intermédiaire ou d'entrée $w_i$ , il suffit de connaître les dérivées de ses parents et la formule pour calculer la dérivée de l'expression primitive $w_p = f(w_i)$ .

La passe inverse commence à la fin (c'est-à-dire $\frac{dz}{dz}$ ) et se propage en arrière vers toutes les dépendances. Nous avons ici (expression pour "graine"):

$$\frac{dz}{dz} = 1$$

Cela peut être lu comme «un changement de $z$ entraîne exactement le même changement de $z$ », ce qui est assez évident.

On sait alors que $z = w_5$ et ainsi:

$$\frac{dz}{dw_5} = 1$$

$w_5$ dépend linéairement de$w_3$ et$w_4$ , donc$\frac{dw_5}{dw_3} = 1$et$\frac{dw_5}{dw_4} = 1$. En utilisant la règle de chaîne, nous trouvons:

$$\frac{dz}{dw_3} = \frac{dz}{dw_5} \frac{dw_5}{dw_3} = 1 \times 1 = 1$$ $$\frac{dz}{dw_4} = \frac{dz}{dw_5} \frac{dw_5}{dw_4} = 1 \times 1 = 1$$

D'après la définition $w_3 = w_1w_2$ et les règles des dérivées partielles, nous constatons que $\frac{dw_3}{dw_2} = w_1$. Ainsi:

$$\frac{dz}{dw_2} = \frac{dz}{dw_3} \frac{dw_3}{dw_2} = 1 \times w_1 = w_1$$

Ce qui, comme nous le savons déjà par la passe avant, est:

$$\frac{dz}{dw_2} = w_1 = 2$$

Enfin, $w_1$ contribue à $z$ via $w_3$ et $w_4$ . Encore une fois, à partir des règles des dérivées partielles, nous savons que $\frac{dw_3}{dw_1} = w_2$et$\frac{dw_4}{dw_1} = \cos(w_1)$. Ainsi:

$$\frac{dz}{dw_1} = \frac{dz}{dw_3} \frac{dw_3}{dw_1} + \frac{dz}{dw_4} \frac{dw_4}{dw_1} = w_2 + \cos(w_1)$$

Et encore une fois, étant donné les entrées connues, nous pouvons le calculer:

$$\frac{dz}{dw_1} = w_2 + \cos(w_1) = 3 + \cos(2) ~= 2.58$$

$w_1$$w_2$$x_1$$x_2$

$$\frac{dz}{dx_1} = 2.58$$ $$\frac{dz}{dx_2} = 2$$

Et c'est tout!

---

Cette description ne concerne que les entrées scalaires, c'est-à-dire les nombres, mais en fait, elle peut également être appliquée à des tableaux multidimensionnels tels que des vecteurs et des matrices. Deux choses que l'on doit garder à l'esprit lors de la différenciation des expressions avec de tels objets:

1. Les dérivés peuvent avoir une dimensionnalité beaucoup plus élevée que les entrées ou les sorties, par exemple le dérivé du vecteur par rapport au vecteur est une matrice et le dérivé de la matrice par rapport à la matrice est un tableau à 4 dimensions (parfois appelé tenseur). Dans de nombreux cas, ces dérivés sont très rares.
2. $y = f(x)$$x$$y$$y_i$$y_j$$x_k$$\frac{dy_i}{dx_j}$$y_i$$x_j$

---

$\frac{dz}{dw_1} = w_2 + \cos(w_1) = x_2 + \cos(x_1)$