Il est prouvé que les réseaux de neurones avec des poids rationnels ont la puissance de calcul de la calculabilité universelle de Turing Machine Turing avec des réseaux de neurones . D'après ce que j'ai obtenu, il semble que l'utilisation de poids réels donne encore plus de puissance de calcul, bien que je ne sois pas certain de celui-ci.
Cependant, existe-t-il une corrélation entre la puissance de calcul d'un réseau neuronal et sa fonction d'activation? Par exemple, si la fonction d'activation compare l'entrée à une limite d'une séquence de Specker (quelque chose que vous ne pouvez pas faire avec une machine de Turing ordinaire, n'est-ce pas?), Cela rend-il le réseau de neurones "plus fort" sur le plan du calcul? Quelqu'un pourrait-il m'indiquer une référence dans ce sens?
la source
Réponses:
Juste une note:
les récurrents pondérés rationnellement ayant des fonctions d'activation booléennes (seuils simples) sont équivalents aux automates à états finis (Minsky, "Calcul: machines finies et infinies", 1967);NN
mais ...
la source
Je vais prendre la solution facile et dire "Oui". Considérons une fonction d'activation qui accepte toutes les entrées et renvoie simplement une valeur constante (c'est-à-dire qu'elle ignore les entrées). Ce réseau se traduit toujours par une sortie constante, et donc la puissance de calcul (probablement par toute définition) de ce réseau est nulle. Il n'est pas capable de calculer quoi que ce soit.
Cela suffit pour montrer une corrélation entre la fonction d'activation sur la puissance du réseau. Bien sûr, cela ne montre pas, ni ne réfute, qu'un réseau pourrait avoir plus de puissance qu'une machine de turing universelle.
la source