Motivation des unités de sortie sigmoïdes dans les réseaux de neurones commençant par des probabilités logarithmiques non normalisées linéaires en

Contexte: J'étudie le chapitre 6 du Deep Learning par Ian Goodfellow et Yoshua Bengio et Aaron Courville. Dans la section 6.2.2.2 (pages 182 de 183 qui peuvent être consultées ici ), l'utilisation de sigmoïde pour produire est motivée.$P(y=1|x)$

Pour résumer une partie du matériel, ils laissent un neurone de sortie avant qu'une activation soit appliquée où est la sortie de la couche cachée précédente, est un vecteur de poids et est un biais scalaire. Le vecteur d'entrée est noté (dont est fonction) et la valeur de sortie est notée où est la fonction sigmoïde. Le livre souhaite définir une distribution de probabilité sur utilisant la valeur . Du deuxième paragraphe de la page 183:

$$z = w^Th+b$$ $h$$w$$b$$x$$h$$y=\phi(z)$$\phi$$y$$z$

Nous omettons la dépendance de pour le moment pour discuter de la façon de définir une distribution de probabilité sur utilisant la valeur . Le sigmoïde peut être motivé en construisant une distribution de probabilité non normalisée , qui ne correspond pas à 1. Nous pouvons ensuite diviser par une constante appropriée pour obtenir une distribution de probabilité valide. Si nous partons de l'hypothèse que les probabilités logarithmiques non normalisées sont linéaires en et , nous pouvons exponentier pour obtenir les probabilités non normalisées. Nous normalisons ensuite pour voir que cela donne une distribution de Bernoulli contrôlée par une transformation sigmoïdale de z: $x$$y$$z$$\tilde P(y)$$y$$z$

$$\begin{align} \log\tilde P(y) &= yz \\ \tilde P(y) &= \exp(yz) \\ P(y) &= \frac{\exp(yz)}{\sum_{y'=0}^1 \exp(y'z) } \\ P(y) &= \phi((2y-1)z) \end{align}$$

Questions: Je suis confus à propos de deux choses, en particulier la première:

1. D'où vient l'hypothèse initiale? Pourquoi la probabilité logarithmique non normalisée est-elle linéaire en et ? Quelqu'un peut-il me donner une idée de la façon dont les auteurs ont commencé avec ?$y$$z$$\log\tilde P(y) = yz$
2. Comment la dernière ligne suit-elle?

Il y a deux résultats possibles pour . C'est très important, car cette propriété change la signification de la multiplication. Il y a deux cas possibles:$y \in \{0, 1\}$

$$\begin{align} \log\tilde P(y=1) &= z \\ \log\tilde P(y=0) &= 0 \\ \end{align}$$

Il est également important de noter que la probabilité logarithmique non normalisée pour est constante. Cette propriété découle de l'hypothèse principale. L'application d'une fonction déterministe à la valeur constante produira une sortie constante. Cette propriété simplifiera la formule finale lorsque nous effectuerons la normalisation sur toutes les probabilités possibles, car il nous suffit de connaître uniquement la probabilité non normalisée pour et pour elle est toujours constante. Et comme la sortie du réseau en probabilité logarithmique non normalisée, nous n'aurons besoin que d'une sortie, car une autre est supposée constante.$y=0$$y=1$$y=0$

Ensuite, nous appliquons l'exponentiation à la probabilité du logarithme non normalisé afin d'obtenir une probabilité non normalisée.

$$\begin{align} \tilde P(y=1) &= e ^ z \\ \tilde P(y=0) &= e ^ 0 = 1 \end{align}$$

Ensuite, nous normalisons simplement les probabilités en divisant chaque probabilité non normalisée par la somme de toutes les probabilités non normalisées possibles.

$$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} \\ P(y=0) = \frac{1}{1 + e ^ z} \end{align}$$

Nous ne nous intéressons qu'à , car c'est ce que signifie la probabilité de la fonction sigmoïde. La fonction obtenue ne ressemble pas à sigmoïde au premier coup d'œil, mais elles sont égales et faciles à montrer.$P(y=1)$

$$\begin{align} P(y=1) = \frac{e ^ x}{1 + e ^ x} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{1 + e ^ {-x}} \end{align}$$

La dernière déclaration peut être déroutante au début, mais c'est juste un moyen de montrer que cette fonction de probabilité finale est un sigmoïde. La valeur convertit en et en (ou on peut dire que ce serait sans changement).$(2y−1)$$0$$-1$$1$$1$

$$P(y) = \sigma((2y - 1)z) = \begin{cases} \sigma(z) = \frac{1}{1 + e ^ {-z}} = \frac{e ^ z}{1 + e ^ z} & \text{when } y = 1 \\ \sigma(-z) = \frac{1}{1 + e ^ {-(-z)}} = \frac{1}{1 + e ^ z} & \text{when } y = 0 \\ \end{cases}$$

Comme nous pouvons le voir, c'est juste la façon de montrer la relation entre et$\sigma$$P(y)$

Je trouve également que ce fragment du livre est difficile à suivre, et la réponse ci-dessus par itdxer mérite un certain temps pour comprendre également pour quelqu'un qui ne maîtrise pas correctement les probabilités et la pensée mathématique. Je l'ai fait cependant en lisant la réponse à l'envers, alors commencez par le sigmoïde de z

$$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} = \frac{1}{1 + e ^ {-z}} \end{align}$$

et essayez de revenir à.

$$\begin{align} \log\tilde P(y) &= yz \end{align}$$

Ensuite, il est logique pourquoi ils ont commencé l'explication avec yz - c'est par conception, même que la finale

$$\begin{align} \sigma((2y-1)z) \end{align}$$

par construction permet d'obtenir -1 pour y = 0 et 1 pour y = 1, qui sont les seules valeurs possibles de y sous le Bernoulli.

Voici une formulation plus formelle qui plaira à ceux qui ont une formation théorique de mesure.

$Y$$P_Y$$y\in \{0,1\}$$P_Y(y)=P(Y=y)$$\tilde P_Y$

Nous avons la chaîne d'implications suivante:

$$\begin{aligned} \log \tilde P_Y(y)=yz &\implies \tilde P_Y(y) = \exp(yz)\\ &\implies P_Y(y) = \frac{e^{yz}}{e^{0\cdot z}+e^{1\cdot z}}=\frac{e^{yz}}{1+e^{ z}}\\ &\implies P_Y(y) =y\frac{e^{z}}{1+e^{ z}} + (1-y)\frac{1}{1+e^{ z}}\\ &\implies P_Y(y) =y\sigma(z) + (1-y)\sigma(-z)\\ &\implies P_Y(y) = \sigma((2y-1)z) \end{aligned}$$

$\{0,1\}$$\{-1,1\}$