Comment l'utilisation d'algorithmes évolutifs pour concevoir et former des réseaux de neurones artificiels présente-t-elle des avantages par rapport aux algorithmes conventionnels de rétropropagation?
9
Comment l'utilisation d'algorithmes évolutifs pour concevoir et former des réseaux de neurones artificiels présente-t-elle des avantages par rapport aux algorithmes conventionnels de rétropropagation?
Contrairement à la rétropropagation, les algorithmes évolutionnaires ne nécessitent pas que la fonction objectif soit différentielle par rapport aux paramètres que vous souhaitez optimiser. En conséquence, vous pouvez optimiser "plus de choses" dans le réseau, telles que les fonctions d'activation ou le nombre de couches, ce qui ne serait pas possible dans la rétropropagation standard.
Un autre avantage est qu'en définissant les fonctions de mutation et de croisement, vous pouvez influencer la façon dont l'espace de recherche de paramètres doit être exploré.
Suite à la réponse de Franck, il peut y avoir de meilleurs optima (même des optima globaux) qui existent dans la direction opposée au gradient (qui peut être dans la direction de certains optima locaux). Les algorithmes évolutionnaires ont la possibilité de rechercher la zone environnante, tandis que la rétropropagation se déplacera toujours dans la direction du gradient. Sans aucune garantie (en raison de leur caractère aléatoire), les algorithmes évolutionnaires peuvent être capables de trouver des solutions que la rétropropagation ne peut tout simplement pas.