Pourquoi la mise en commun maximale est-elle nécessaire dans les réseaux de neurones convolutifs?

18

Les réseaux de neurones convolutifs les plus courants contiennent des couches de mise en commun pour réduire les dimensions des caractéristiques de sortie. Pourquoi ne pourrais-je pas réaliser la même chose en augmentant simplement la foulée de la couche convolutionnelle? Qu'est-ce qui rend la couche de mise en commun nécessaire?

deep-learning conv-neural-network pooling user3667089
la source

Réponses:

16

Vous pouvez en effet le faire, voir Viser la simplicité: le réseau tout convolutionnel . La mise en commun vous donne une certaine quantité d'invariance de traduction, qui peut être utile ou non. De plus, le regroupement est plus rapide à calculer que les convolutions. Pourtant, vous pouvez toujours essayer de remplacer le regroupement par convolution par foulée et voir ce qui fonctionne mieux.

Certains travaux actuels utilisent la mise en commun moyenne ( Wide Residual Networks , DenseNets ), d'autres utilisent la convolution avec foulée ( DelugeNets )

robintibor
la source
J'ai demandé à un de mes amis à ce sujet et il a dit que les couches de mise en commun sont meilleures car cela introduit une non-linéarité. Êtes-vous d'accord?
user3667089
7
Hm pas si sûr que je suis d'accord. Une sorte de non-linéarité est déjà présente dans les réseaux à travers les fonctions d'activation. Le regroupement moyen n'introduit pas non plus de non-linéarité supplémentaire, il s'agit d'une opération linéaire, donc seul le regroupement max est non linéaire. Et je pense que la question est plus si vous voulez la régularisation que la mise en commun vous apporte - un peu plus d'invariance translationnelle.
robintibor
4

Apparemment, la mise en commun maximale aide car elle extrait les caractéristiques les plus nettes d'une image. Donc, étant donné une image, les caractéristiques les plus nettes sont la meilleure représentation de niveau inférieur d'une image. https://www.quora.com/What-is-the-benefit-of-using-average-pool-rather-than-max- Covoiturage

Mais selon la conférence Deep Learning d'Andrew Ng, la mise en commun maximale fonctionne bien, mais personne ne sait pourquoi. Citation -> "Mais je dois admettre, je pense que la principale raison pour laquelle les gens utilisent le pool max est parce que cela a été trouvé dans de nombreuses expériences pour bien fonctionner, ... Je ne connais personne qui sait parfaitement si c'est le vrai raison sous-jacente. "

Yi Xiang Chong
la source