Je choisis la fonction d'activation pour la couche de sortie en fonction de la sortie dont j'ai besoin et des propriétés de la fonction d'activation que je connais. Par exemple, je choisis la fonction sigmoïde lorsque je traite des probabilités, une ReLU lorsque je traite des valeurs positives et...
Je pense que l'avantage d'utiliser Leaky ReLU au lieu de ReLU est que de cette façon, nous ne pouvons pas avoir de gradient de fuite. La ReLU paramétrique a le même avantage, à la seule différence que la pente de la sortie pour les entrées négatives est un paramètre apprenable tandis que dans la...
Je suis juste tombé sur le concept de couverture neuronale, qui est le rapport des neurones activés et des neurones totaux dans un réseau neuronal. Mais qu'est-ce que cela signifie pour un neurone d'être "activé"? Je sais ce que sont les fonctions d'activation, mais que signifie être activé, par...
Il existe plusieurs fonctions d'activation, telles que ReLU, sigmoid ou tanhtanh\tanh . Que se passe-t-il lorsque je mélange des fonctions d'activation? J'ai récemment découvert que Google a développé la fonction d'activation Swish qui est (x * sigmoïde). En modifiant la fonction d'activation,...