J'essaie de trouver un équivalent de diagrammes de Hinton pour les réseaux multicouches pour tracer les poids pendant l'entraînement.
Le réseau formé est quelque peu similaire à un SRN profond, c'est-à-dire qu'il a un grand nombre de matrices de poids multiples, ce qui rendrait l'intrigue simultanée de plusieurs diagrammes de Hinton visuellement confuse.
Quelqu'un connaît-il un bon moyen de visualiser le processus de mise à jour du poids pour les réseaux récurrents à plusieurs couches?
Je n'ai pas trouvé beaucoup d'articles sur le sujet. Je pensais plutôt afficher des informations temporelles sur les poids par couche si je n'arrive pas à trouver quelque chose. Par exemple, le poids-delta au fil du temps pour chaque couche (en omettant l'utilisation de chaque connexion unique). PCA est une autre possibilité, même si je ne voudrais pas produire beaucoup de calculs supplémentaires, car la visualisation se fait en ligne pendant la formation.
Sur la base de ma compréhension superficielle des sujets, associée à votre question, je pense que Gephi ( https://gephi.github.io ; le lien original gephi.org y redirige) devrait être capable de gérer la visualisation dynamique du réseau neuronal . Il semble que, pour atteindre votre objectif, vous devez diffuser vos graphiques avec les poids correspondants ( https://forum.gephi.org/viewtopic.php?t=1875 ). Pour le streaming , vous aurez très probablement besoin de ce plug-in : https://marketplace.gephi.org/plugin/graph-streaming .
MISE À JOUR : Vous pouvez également trouver des logiciels SoNIA utiles: http://web.stanford.edu/group/sonia .
la source