Définition exacte de Maxout

J'ai essayé de comprendre ce que cela signifiait exactement par la fonction d'activation "Maxout" dans les réseaux de neurones. Il y a cette question, cet article, et même dans le livre Deep Learning de Bengio et al. , sauf avec juste un peu d'informations et un gros TODO à côté.

J'utiliserai la notation décrite ici pour plus de clarté. Je ne veux tout simplement pas le retaper et provoquer un gonflement des questions. Brièvement,$a^i_j=\sigma(z^i_j)=\sigma(\sum\limits_k a^{i-1}_kw^i_{jk}+b^i_j)$, en d'autres termes, un neurone a un seul biais, un seul poids pour chaque entrée, puis il additionne les entrées multiplié par les poids, puis ajoute le biais et applique la fonction d'activation pour obtenir la valeur de sortie (aka activation).

Jusqu'à présent, je sais que Maxout est une fonction d'activation qui "sort le maximum de ses entrées". Qu'est-ce que ça veut dire? Voici quelques idées que je pourrais interpréter à partir de cela:

1. $a^i_j=\max\limits_k (a^{i-1}_k)$, également appelé max-pooling.
2. $a^i_j=\max\limits_k (a^{i-1}_kw^i_{jk})+b^i_j$ , en remplaçant simplement la somme qui se fait normalement par un max.
3. $a^i_j=\max\limits_k (a^{i-1}_kw^i_{jk}+b^i_{jk})$ , où chaque neurone a maintenant une valeur de biais pour chaque entrée, au lieu d'une seule valeur de biais appliquée après avoir additionné toutes les entrées. Cela rendrait la rétropropagation différente, mais toujours possible.
4. Chaque $z^i_j$ est calculé comme normal, et chaque neurone a un biais unique et un poids pour chaque entrée. Cependant, semblable à SOFTMAX ( $a^i_j = \frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}$ ), cela prend le maximum de tous les $z$ « s dans sa couche actuelle . Formellement, $a^i_j=\max\limits_k z^i_k$ .

Certains de ces éléments sont-ils corrects? Ou est-ce quelque chose de différent?

Aucune de ces réponses; Les réseaux maxout ne suivent pas l'architecture que vous supposiez.

Depuis le début de la section "description de maxout" dans l'article que vous avez lié , qui définissait maxout:

Étant donné une entrée ( peut être , ou peut être l'état d'une couche cachée), une couche cachée maxout implémente la fonction$x \in \mathbb{R}^d$$x$$v$

$$h_i = \max_{j \in [1, k]} z_{ij}$$

où , et et sont paramètres appris.$z_{ij} = x^T W_{ij} + b_{ij}$$W \in \mathbb{R}^{d \times m \times k}$$b ∈ R^{m \times k}$

Ainsi, chaque unité des unités a différentes combinaisons affines de la couche précédente et génère le maximum de ces fonctions affines. Imaginez que chaque couche soit connectée à la couche précédente avec connexions de différentes couleurs et en prenant le maximum de couleurs.$m$$k$$k$$k$

Alternativement, vous pouvez considérer une unité maxout comme étant en fait deux couches: chacune des unités de la couche précédente est connectée à chacune des unités avec la fonction d'activation d'identité, puis une seule unité connecte ces unités linéaires avec une activation de regroupement max. .$k$$k$

Cela signifie que l'unité, considérée comme une fonction de à , est le maximum par morceaux des fonctions affines. La figure 1 du document donne quelques exemples de différentes fonctions auxquelles elle pourrait ressembler:$\mathbb R^d$$\mathbb R$

Chacune des lignes en pointillés représente un . Vous pouvez représenter n'importe quelle fonction convexe de cette manière, ce qui est plutôt bien.$W^T x + b$