Il est assez intuitif que la plupart des topologies / architectures de réseaux de neurones ne soient pas identifiables. Mais quels sont les résultats bien connus sur le terrain? Existe-t-il des conditions simples qui permettent / empêchent l’identifiabilité? Par exemple, tous les réseaux avec des...
J'ai fait un réseau neuronal convolutionnel et je voulais vérifier que mes gradients sont calculés correctement en utilisant la vérification numérique du gradient. La question est, à quelle distance est assez proche? Ma fonction de vérification crache simplement la dérivée calculée, la dérivée...
Je voulais former un réseau avec des non-linéarités qui souffrent de la disparition (ou du problème de gradient explosif mais principalement de la disparition). Je sais que la méthode standard (actuelle) consiste à utiliser la normalisation par lots 1 [BN] 1 ou simplement à abandonner la...
En général, dois-je recycler mon réseau de neurones avec moins de neurones afin qu'il ait moins de neurones ReLU morts? J'ai lu des opinions contradictoires sur les ReLU morts. Certaines sources affirment que les ReLU morts sont bons car ils encouragent la rareté. D'autres disent qu'ils sont...