Quelle est la dérivée de la fonction d'activation ReLU?

15

Quelle est la dérivée de la fonction d'activation ReLU définie comme:

ReLU(x)=max(0,x)

Qu'en est-il du cas particulier où il y a une discontinuité dans la fonction à ?x=0

Tom Hale
la source

Réponses:

17

Le dérivé est:

f(x)={0if x<01if x>0

Et non défini dans .x=0

La raison pour laquelle elle n'est pas définie à est que ses dérivées gauche et droite ne sont pas égales.x=0

Jim
la source
1
01x=0
2
La convention est que drdx = 1 (x> 0)
neuroguy123
f(0)=12
3
@TomHale au fait, voir la réponse de Nouroz Rahman sur quora.com/… : "[...] À mon avis, dans les fonctions de bibliothèque intégrées (par exemple tf.nn.relu():), la dérivée à x = 0 est prise à zéro pour garantir une plus faible matrice ... "
Jim