Spentralisation_crossentropie catégorique vs catégorique_crossentropie (keras, précision)

Quel est le meilleur pour la précision ou sont-ils les mêmes? Bien sûr, si vous utilisez categorical_crossentropy vous utilisez un encodage à chaud, et si vous utilisez sparse_categorical_crossentropy vous encodez comme des entiers normaux. De plus, quand est-ce que l'un est meilleur que l'autre?

Utilisez une entropie croisée catégorique clairsemée lorsque vos classes s'excluent mutuellement (par exemple, lorsque chaque échantillon appartient exactement à une classe) et une entropopie catégorique lorsqu'un échantillon peut avoir plusieurs classes ou étiquettes sont des probabilités douces (comme [0,5, 0,3, 0,2]).

La formule de l'interentropie catégorielle (S - échantillons, C - sans classe, $s \in c$ - l'échantillon appartient à la classe c) est:

Dans le cas où les classes sont exclusives, vous n'avez pas besoin de les additionner - pour chaque échantillon, seule la valeur non nulle est juste $-log p(s \in c)$ pour la vraie classe c.

Cela permet de conserver du temps et de la mémoire. Considérons le cas de 10000 classes lorsqu'elles s'excluent mutuellement - juste 1 journal au lieu de résumer 10000 pour chaque échantillon, un seul entier au lieu de 10000 flottants.

La formule est la même dans les deux cas, donc aucun impact sur la précision ne devrait être présent.

La réponse, en bref

Si vos cibles sont codées à chaud, utilisez categorical_crossentropy. Exemples d'encodages à chaud:

[1,0,0]
[0,1,0] 
[0,0,1]

Mais si vos cibles sont des entiers, utilisez sparse_categorical_crossentropy. Exemples de codages entiers (par souci de complétion):

1
2
3