Questions marquées «relu»

Quels sont les avantages de ReLU par rapport à Leaky ReLU et Parametric ReLU (le cas échéant)?

Je pense que l'avantage d'utiliser Leaky ReLU au lieu de ReLU est que de cette façon, nous ne pouvons pas avoir de gradient de fuite. La ReLU paramétrique a le même avantage, à la seule différence que la pente de la sortie pour les entrées négatives est un paramètre apprenable tandis que dans la...

Que se passe-t-il lorsque je mélange des fonctions d'activation?

Il existe plusieurs fonctions d'activation, telles que ReLU, sigmoid ou tanhtanh\tanh . Que se passe-t-il lorsque je mélange des fonctions d'activation? J'ai récemment découvert que Google a développé la fonction d'activation Swish qui est (x * sigmoïde). En modifiant la fonction d'activation,...