Backprop à travers les couches Max-Pooling?

C'est une petite question conceptuelle qui me hante depuis un moment: comment pouvons-nous propager en arrière à travers une couche de regroupement maximal dans un réseau de neurones?

Je suis tombé sur des couches de max-pooling en parcourant ce tutoriel pour la bibliothèque nn de Torch 7. La bibliothèque résume le calcul du gradient et les passes directes pour chaque couche d'un réseau profond. Je ne comprends pas comment le calcul du gradient est effectué pour une couche de regroupement maximal.

Je sais que si vous avez une entrée allant dans le neurone de la couche , alors (défini comme ${z_i}^l$ $i$ $l$ ${\delta_i}^l$ ) est donné par: ${\delta_i}^l = \frac{\partial E}{\partial {z_i}^l}$

{δ_{je}}^{l} = θ^{^{'}} ({z_{je}}^{l}) \underset{j}{Σ} {δ_{j}}^{l + 1} w_{je, j}^{l, l + 1}

${\delta_i}^l = \theta^{'}({z_i}^l) \sum_{j} {\delta_j}^{l+1} w_{i,j}^{l,l+1}$

Ainsi, une couche de regroupement maximal recevrait les de la couche suivante comme d'habitude; mais comme la fonction d’activation pour les neurones de regroupement maximal prend en entrée un vecteur de valeurs (sur lequel elle est maximale), n’est plus un nombre unique, mais un vecteur ( devrait être remplacé par ). De plus, ${\delta_j}^{l+1}$ ${\delta_i}^{l}$ $\theta^{'}({z_j}^l)$ $\nabla \theta(\left\{{z_j}^l\right\})$ $\theta$ , étant la fonction max, n'est pas différentiable en ce qui concerne ses entrées.

Alors .... comment cela devrait-il fonctionner exactement?

neural-network backpropagation shinvu
la source

Réponses:

Il n'y a pas de gradient par rapport aux valeurs non maximales, car les modifier légèrement n'affecte pas la sortie. De plus, max est localement linéaire avec la pente 1, par rapport à l’entrée qui atteint réellement le max. Ainsi, le gradient de la couche suivante est renvoyé uniquement au neurone ayant atteint le maximum. Tous les autres neurones ont un gradient nul.

Donc , dans votre exemple, serait un vecteur de zéros, sauf que le e emplacement sera obtenir une valeur où $\delta_i^l$ $i^*$ $\left\{\delta_j^{l+1}\right\}$ $i^* = argmax_{i} (z_i^l)$

Abora
la source

Oh oui, il ne sert à rien de se reproduire dans les neurones non maximaux - c'était une idée cruciale. Donc, si je comprends maintenant correctement, la rétrodiffusion à travers la couche max-pooling sélectionne simplement le max. neurone de la couche précédente (sur laquelle le max-pooling a été effectué) et continue la rétrodiffusion uniquement par ce biais.

Shinvu

Mais n'avez-vous pas besoin de multiplier avec la dérivée de la fonction d'activation?

Jason

@Jason: La fonction max est localement linéaire pour l'activation qui a eu le max, sa dérivée est donc constante 1. Pour les activations qui n'ont pas abouti, c'est 0. C'est conceptuellement très similaire à la différenciation du ReLU (x ) = max (0, x) fonction d’activation.

Chrigi

Quelle est la foulée inférieure à la largeur du noyau pour un pooling maximal?

Vatsal

Très bonne réponse! Qu'en est-il du cas où plusieurs entrées ont la même valeur maximale (par exemple, 2 valeurs ont 0 à partir d'un ReLU et les deux autres sont négatives)?

DankMasterDan le

Max Pooling

Supposons donc que vous avez une couche P qui vient au-dessus d’une couche PR. Ensuite, la passe avant ressemblera à ceci:

, $P_i = f(\sum_j W_{ij} PR_j)$

où est l'activation du treizième neurone de la couche P, f est la fonction d'activation et W les poids. Donc, si vous dérivez cela, vous obtenez par la règle de chaîne que les gradients s'écoulent comme suit: $P_i$

. $grad(PR_j) = \sum_i grad(P_i) f^\prime W_{ij}$

Mais maintenant, si vous avez mise en commun max, pour le neurone max et pour tous les autres neurones, donc pour le neurone max dans la couche précédente et pour tous les autres neurones. Alors: $f = id$ $f = 0$ $f^\prime = 1$ $f^\prime = 0$

$grad(PR_{max\ neuron}) = \sum_i grad(P_i) W_{i\ {max\ neuron}}$

$grad(PR_{others}) = 0.$

patapouf_ai
la source

La réponse de @ Shinvu est bien écrite, je voudrais pointer sur une vidéo qui explique le gradient de l'opération Max () et cela dans un graphique de calcul rapide à saisir.!

lors de la mise en œuvre de l'opération maxpool (un noeud de calcul dans un graphe de calcul - Votre architecture NN), nous avons besoin d'une fonction qui crée une matrice "masque" qui garde une trace de l'emplacement du maximum de la matrice. True (1) indique la position du maximum dans X, les autres entrées sont False (0). Nous gardons une trace de la position du maximum parce que c'est la valeur d'entrée qui a finalement influencé la sortie, et donc le coût. Backprop calcule les gradients en fonction du coût. Par conséquent, tout ce qui influence le coût final doit avoir un gradient non nul. Ainsi, backprop "propagera" le dégradé sur cette valeur d'entrée particulière qui avait influencé le coût.

anu
la source