Impossible de comprendre la couche d'inclusion linéaire dans le réseau neuronal convolutionnel?

J'ai l' architecture de réseau de l'article "apprendre la similitude des images à grain fin avec un classement profond" et je ne peux pas comprendre comment la sortie des trois réseaux parallèles est fusionnée en utilisant la couche d'intégration linéaire. La seule information donnée sur cette couche, dans le papier est

Enfin, nous normalisons les plongements à partir des trois parties et les combinons avec une couche d'intégration linéaire. La dimension de l'incorporation est de 4096.

Quelqu'un peut-il m'aider à comprendre ce que veut dire exactement l'auteur lorsqu'il parle de cette couche?

La couche d'intégration linéaire ne doit être qu'un nom de fantaisie pour une couche dense sans activation. «Linéaire» signifie qu'il n'y a pas d'activation (l'activation est l'identité). Et l'incorporation est plutôt un concept pour une représentation vectorielle des données d'entrée (par exemple, l'intégration de mots). Je pense que les éléments du deuxième vecteur sont simplement ajoutés au premier élément par élément.

C'est mentionné dans le document:

Une couche de normalisation locale normalise la carte d'entités autour d'un voisinage local pour avoir une norme d'unité et une moyenne nulle. Cela conduit à des cartes de caractéristiques robustes aux différences d'éclairage et de contraste.

Ils prennent chaque partie du modèle et le normalisent séparément.

Quant à les combiner, comme vous l'avez commenté, pour capturer les traits les plus saillants, avec une représentation sous-complète sans besoin de non-linéarité.