Dérivant le gradient d'un réseau neuronal à une seule couche par rapport à ses entrées, quel est l'opérateur dans la règle de chaîne?

Le problème est:

Dérivez le gradient par rapport à la couche d'entrée pour un réseau neuronal à couche cachée unique en utilisant sigmoïde pour l'entrée -> caché, softmax pour caché -> la sortie, avec une perte d'entropie croisée.

Je peux passer la majeure partie de la dérivation en utilisant la règle de chaîne, mais je ne suis pas sûr de savoir comment les "chaîner" ensemble.

Définir quelques notations

$r = xW_1+b_1$

$h = \sigma\left( r \right)$ , $\sigma$ est une fonction sigmoïde

$\theta = hW_2+b_2$ ,

$\hat{y} = S \left( \theta \right)$ , $S$ est la fonction softmax

$J\left(\hat{y}\right) = \sum_i y \log\hat{y}_i$ , $y$ est un véritable vecteur à chaud

Ensuite, selon la règle de la chaîne,

\frac{\partial J}{\partial x} = \frac{\partial J}{\partial θ} \cdot \frac{\partial θ}{\partial h} \cdot \frac{\partial h}{\partial r} \cdot \frac{\partial r}{\partial x}

$\frac{\partial J}{\partial \boldsymbol{x}} = \frac{\partial J}{\partial \boldsymbol{\theta}} \cdot \frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} \cdot \frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} \cdot \frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}}$

Les gradients individuels sont:

\frac{\partial J}{\partial θ} = (\hat{y} - y)

$\frac{\partial J}{\partial \boldsymbol{\theta}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right)$

\frac{\partial θ}{\partial h} = \frac{\partial}{\partial h} [h W_{2} + b_{2}] = W_{2}^{T}

$\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} = \frac{\partial}{\partial \boldsymbol{h}} \left[ \boldsymbol{h}W_2 + \boldsymbol{b_2}\right] = W_2^T$

\frac{\partial h}{\partial r} = h \cdot (1 - h)

$\frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} = h \cdot \left(1-h\right)$

\frac{\partial r}{\partial x} = \frac{\partial}{\partial x} [x W_{1} + b_{1}] = W_{1}^{T}

$\frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}} = \frac{\partial}{\partial \boldsymbol{x}} \left[ \boldsymbol{x}W_1 + \boldsymbol{b_1}\right] = W_1^T$

Nous devons maintenant enchaîner les définitions. En simple variable, c'est facile, nous multiplions simplement tout ensemble. Dans les vecteurs, je ne sais pas s'il faut utiliser la multiplication par élément ou la multiplication matricielle.

\frac{\partial J}{\partial x} = (\hat{y} - y) * W_{2}^{T} \cdot [h \cdot (1 - h)] * W_{1}^{T}

$\frac{\partial J}{\partial \boldsymbol{x}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right) * W_2^T \cdot \left[\boldsymbol{h} \cdot \left(1-\boldsymbol{h}\right)\right] * W_1^T$

Où est la multiplication élémentaire des vecteurs, et est une multiplication matricielle. Cette combinaison d'opérations est la seule façon dont je pourrais sembler les enchaîner pour obtenir un vecteur de dimension , que je sais que doit être. $\cdot$ $*$ $1 \cdot D_x$ $\frac{\partial J}{\partial \boldsymbol{x}}$

Ma question est: quel est le moyen de principe pour moi de déterminer quel opérateur utiliser? Je suis particulièrement confus par la nécessité de l'élément par élément entre et . $W_2^T$ $h$

Merci!

neural-networks gradient amatsukawa
la source

Je me rends compte que trouver le gradient par rapport aux entrées ne se fait pas souvent. Je crois que c'est une piste pour le calcul des incorporations de mots, où vous avez la possibilité d'optimiser les vecteurs de mots "d'entrée".

amatsukawa

comment avez-vous dervie dJ / dTheta

raaj

Réponses:

Je crois que la clé pour répondre à cette question est de souligner que la multiplication par élément est en fait un raccourci et donc lorsque vous dérivez les équations, vous ne l' utilisez jamais réellement.

L'opération réelle n'est pas une multiplication par élément mais plutôt une multiplication matricielle standard d'un gradient avec un jacobien , toujours .

Dans le cas de la non-linéarité, le jacobien du vecteur sortie de la non-linéarité par rapport au vecteur entrée de la non-linéarité se trouve être une matrice diagonale. Il est donc vrai que le gradient multiplié par cette matrice est équivalent au gradient de la sortie de la non-linéarité par rapport à la perte élément par élément multiplié par un vecteur contenant toutes les dérivées partielles de la non-linéarité par rapport à l'entrée de la non-linéarité, mais cela découle du fait que le jacobien est diagonal. Vous devez passer par l'étape jacobienne pour arriver à la multiplication par élément, ce qui pourrait expliquer votre confusion.

En mathématiques, nous avons des non linéarités , une perte et une entrée de la non linéarité (cela pourrait être n'importe quel tenseur). La sortie de la non-linéarité a la même dimension --- comme le dit @Logan, les fonctions d'activation sont définies comme élément par élément. $s$ $L$ $x \in \mathbb{R}^{n \times 1}$ $s(x) \in \mathbb{R}^{n \times 1}$

Nous voulons

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L

$\nabla_{x}L=\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L$

Où est le jacobien de . En développant ce jacobien, nous obtenons $\dfrac{\partial s(x)}{\partial x}$ $s$

[\begin{matrix} \frac{\partial s (x_{1})}{\partial x_{1}} & \dots & \frac{\partial s (x_{1})}{\partial x_{n}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial s (x_{n})}{x_{1}} & \dots & \frac{\partial s (x_{n})}{\partial x_{n}} \end{matrix}]

$\begin{bmatrix} \dfrac{\partial{s(x_{1})}}{\partial{x_1}} & \dots & \dfrac{\partial{s(x_{1})}}{\partial{x_{n}}} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial{s(x_{n})}}{x_{1}} & \dots & \dfrac{\partial{s(x_{n})}}{\partial{x_{n}}} \end{bmatrix}$

On voit qu'il est partout nul sauf la diagonale. On peut faire un vecteur de tous ses éléments diagonaux

D i a g (\frac{\partial s (x)}{\partial x})

$Diag\left(\dfrac{\partial s(x)}{\partial x}\right)$

Et puis utilisez l'opérateur élément par élément.

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L = D i a g (\frac{\partial s (x)}{\partial x}) \circ \nabla_{s (x)} L

$\nabla_{x}L =\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L =Diag\left(\dfrac{\partial s(x)}{\partial x}\right) \circ \nabla_{s(x)}L$

user0
la source

Chaque fois que la fonction est rétro-proportionnelle à une fonction d'activation, les opérations deviennent élémentaires. Plus précisément, en utilisant votre exemple, est un dérivé de rétropropagation et est un dérivé d'activation, et leur produit est un produit élémentaire, . En effet, les fonctions d'activation sont définies comme des opérations élément par élément dans le réseau neuronal. $\delta_2 =(\hat{y}-y)W_2^T$ $a' = h \circ (1 -h)$ $\delta_2 \circ a'$

Voir les diapositives de la conférence cs224d page 30, cela pourrait également aider.

Logan
la source