Pourquoi la reconstruction dans les encodeurs automatiques utilise-t-elle la même fonction d'activation que l'activation directe, et non l'inverse?

Supposons que vous ayez une couche d'entrée avec n neurones et que la première couche cachée ait neurones, avec typiquement . Ensuite, vous calculez l'activation du ème neurone dans la couche cachée par$m$$m < n$$a_j$$j$

$a_j = f\left(\sum\limits_{i=1..n} w_{i,j} x_i+b_j\right)$ , où est une fonction d'activation comme ou .$f$$\tanh$$\text{sigmoid}$

Pour entraîner le réseau, vous calculez la reconstruction de l'entrée, notée , et minimisez l'erreur entre et . Maintenant, le ème élément de est généralement calculé comme suit:$z$$z$$x$$i$$z$

$z_i = f\left ( \sum\limits_{j=1..m} w_{j,i}' a_j+b'_i \right)$

Je me demande pourquoi les reconstruits sont généralement calculés avec la même fonction d'activation au lieu d'utiliser la fonction inverse, et pourquoi les et séparés sont utiles au lieu d'utiliser des poids et des biais liés? Il me semble beaucoup plus intuitif de calculer le reconstruit avec la fonction d'activation inverse , par exemple, , comme suit:$z$$w'$$b'$$f^{-1}$$\text{arctanh}$

Notez que les poids liés ici sont utilisés, c'est-à-dire , et les biais de la couche cachée sont utilisés, au lieu d'introduire un ensemble supplémentaire de biais pour la couche d'entrée.$w' = w^T$$b_j$

Et une question très connexe: pour visualiser les caractéristiques, au lieu de calculer la reconstruction, on créerait généralement une matrice d'identité avec la dimension de la couche cachée. Ensuite, on utiliserait chaque colonne de la matrice comme entrée d'une fonction de réactivation, qui induit une sortie dans les neurones d'entrée. Pour la fonction de réactivation, serait-il préférable d'utiliser la même fonction d'activation (resp. Le ) ou la fonction inverse (resp. Le )?$z_i$$z'_i$

Je ne pense pas que votre hypothèse vraie. Ou plutôt n'est pas nécessaire, et si cela est fait, ce n'est pas pour inverser en quelque sorte automatiquement le calcul pour créer les entités de calque cachées. Il n'est pas possible d'inverser la compression en général, en passant de n à m plus petit, directement de cette manière. Si tel était le but, alors vous voudriez une forme d'inversion de matrice, pas une simple transposition.$w' = w^T$

Au lieu de cela, nous voulons juste pour la représentation compressée des fonctionnalités de niveau supérieur, et nous supprimerons fois l'auto-encodeur terminé.$w_{ij}$$w'_{ij}$

Vous pouvez définir et lier les poids. Cela peut aider à la régularisation - aider le codeur automatique à généraliser. Mais ce n'est pas nécessaire.$w' = w^T$

Pour que l'auto-encodeur fonctionne, la fonction d'activation que vous utilisez après la couche que vous pré-entraînez n'a pas d'importance, à condition que la dernière couche de l'auto-encodeur puisse exprimer la gamme des entrées possibles. Cependant, vous pouvez obtenir des résultats de qualité variable en fonction de ce que vous utilisez, comme d'habitude pour un réseau de neurones.

Il est tout à fait raisonnable d'utiliser la même fonction d'activation que celle pour laquelle vous créez la couche pré-formée, car c'est le choix le plus simple.

L'utilisation d'une fonction inverse est également possible, mais déconseillée pour sigmoïde ou tanh, car par exemple arctanh n'est pas défini <-1 ou> 1, donc ne serait probablement pas numériquement stable.