Entropie croisée ou log vraisemblance dans la couche de sortie

J'ai lu cette page: http://neuralnetworksanddeeplearning.com/chap3.html

et il a dit que la couche de sortie sigmoïde avec entropie croisée est assez similaire à la couche de sortie softmax avec log-vraisemblance.

que se passe-t-il si j'utilise sigmoïde avec log-vraisemblance ou softmax avec entropie croisée dans la couche de sortie? ça va? parce que je vois qu'il n'y a que peu de différence dans l'équation entre l'entropie croisée (eq.57):

C = - \frac{1}{n} \sum_{X} (y \ln une + (1 - y) \ln (1 - une))

$C = -\frac{1}{n} \sum\limits_x (y \ln a + (1-y) \ln (1-a))$

et log vraisemblance (eq.80):

C = - \frac{1}{n} \sum_{X} (\ln {une}_{y}^{L})

$C =-\frac{1}{n} \sum\limits_x(\ln a^L_y)$

neural-networks maximum-likelihood softmax Malioboro
la source

La vraisemblance logarithmique négative (eq.80) est également connue sous le nom d'entropie croisée multiclasse (réf: Reconnaissance de formes et apprentissage automatique, section 4.3.4), car il s'agit en fait de deux interprétations différentes de la même formule.

l'éq.57 est la probabilité logarithmique négative de la distribution de Bernoulli, tandis que l'éq.80 est la probabilité logarithmique négative de la distribution multinomiale avec une observation (une version multiclasse de Bernoulli).

Pour les problèmes de classification binaire, la fonction softmax génère deux valeurs (entre 0 et 1 et somme à 1) pour donner la prédiction de chaque classe. Alors que la fonction sigmoïde génère une valeur (entre 0 et 1) pour donner la prédiction d'une classe (donc l'autre classe est 1-p).

Ainsi, l'éq.80 ne peut pas être directement appliqué à la sortie sigmoïde, bien qu'il s'agisse essentiellement de la même perte que l'eq.57.

Voir également cette réponse .

Voici une illustration simple de la connexion entre (sigmoïde + entropie croisée binaire) et (softmax + entropie croisée multiclasse) pour les problèmes de classification binaire.

$0.5$

σ (w X + b) = 0,5

$\sigma(wx+b)=0.5$

w X + b = 0

$wx+b=0$

\frac{e^{w_{1} X + b_{1}}}{e^{w_{1} X + b_{1}} + e^{w_{2} X + b_{2}}} = 0,5

$\frac{e^{w_1x+b_1}}{e^{w_1x+b_1}+e^{w_2x+b_2}}=0.5$

e^{w_{1} X + b_{1}} = e^{w_{2} X + b_{2}}

$e^{w_1x+b_1}=e^{w_2x+b_2}$

w_{1} X + b_{1} = w_{2} X + b_{2}

$w_1x+b_1=w_2x+b_2$

(w_{1} - w_{2}) X + (b_{1} - b_{2}) = 0

$(w_1-w_2)x+(b_1-b_2)=0$

Les éléments suivants montrent les limites de décision obtenues à l'aide de ces deux méthodes, qui sont presque identiques.

dontloo
la source

De quelles équations parlez-vous? Dans le livre, les équations sont numérotées différemment. C'est peut-être une édition spécifique du livre? Pouvez-vous clarifier cela? Je regarde le livre sur users.isr.ist.utl.pt/~wurmd/Livros/school/… , page 209 (section 4.3.4).

nbro

@nbro ah désolé pour la confusion, je voulais dire les équations dans la page liée donnée dans la question.

dontloo

Entropie croisée ou log vraisemblance dans la couche de sortie

Réponses: