Que signifie l'activation d'un neurone dans un réseau neuronal?

10

Je suis juste tombé sur le concept de couverture neuronale, qui est le rapport des neurones activés et des neurones totaux dans un réseau neuronal. Mais qu'est-ce que cela signifie pour un neurone d'être "activé"? Je sais ce que sont les fonctions d'activation, mais que signifie être activé, par exemple dans le cas d'une fonction ReLU ou sigmoïde?

Léon
la source

Réponses:

10

Un neurone est dit activé lorsque sa sortie est supérieure à un seuil, généralement 0.

Par exemple: when

y=Relu(une)>0
une=wTX+b>0

Il en va de même pour sigmoïde ou d'autres fonctions d'activation.

Jérémy Blain
la source
4

Le terme "activé" est principalement utilisé lorsque l'on parle de fonctions d'activation qui ne sortent une valeur (sauf 0) que lorsque l'entrée de la fonction d'activation est supérieure à un certain seuil.

Surtout lorsque vous discutez de ReLU, le terme "activé" peut être utilisé. ReLU sera "activé" lorsque sa sortie est supérieure à 0, ce qui est également lorsque son entrée est supérieure à 0.

D'autres fonctions d'activation, comme sigmoïde, retournent toujours une valeur supérieure à 0 et n'ont pas de seuil spécial. Par conséquent, le terme "activé" a moins de sens ici.

Même si nous en savons peu sur eux, les neurones du cerveau semblent également avoir quelque chose qui ressemble à une fonction d'activation avec une sorte de "seuil d'activation".

M. Eivind
la source