D'après la classe d'apprentissage en profondeur d'Udacity , le softmax de y_i est simplement l'exponentielle divisée par la somme des exponentielles de l'ensemble du vecteur Y: Où S(y_i)est la fonction softmax de y_iet eest l'exponentielle et jest le non. de colonnes dans le vecteur d'entrée Y....
Dans la couche de sortie d'un réseau de neurones, il est typique d'utiliser la fonction softmax pour approximer une distribution de probabilité: Cela coûte cher à calculer à cause des exposants. Pourquoi ne pas simplement effectuer une transformée en Z pour que toutes les sorties soient positives,...
Je suis récemment tombé sur tf.nn.sparse_softmax_cross_entropy_with_logits et je ne peux pas comprendre quelle est la différence par rapport à tf.nn.softmax_cross_entropy_with_logits . La seule différence est-elle que les vecteurs d'apprentissage ydoivent être encodés à chaud lors de l'utilisation...