Apprentissage automatique: devrais-je utiliser une perte d'entropie croisée ou d'entropie croisée binaire pour les prédictions binaires?

Tout d'abord, j'ai réalisé que si je devais effectuer des prédictions binaires, je devais créer au moins deux classes en effectuant un encodage à chaud. Est-ce correct? Cependant, l'entropie croisée binaire est-elle réservée aux prédictions avec une seule classe? Si je devais utiliser une perte catégorique d'entropie croisée que l'on trouve généralement dans la plupart des bibliothèques (comme TensorFlow), y aurait-il une différence significative?

En fait, quelles sont les différences exactes entre une entropie croisée catégorique et binaire? Je n'ai jamais vu d'implémentation d'entropie croisée binaire dans TensorFlow, alors j'ai pensé que le plus catégorique fonctionnait tout aussi bien.

La perte d'entropie croisée binomiale est un cas particulier de perte d'entrinopie croisée multinomiale pour $m=2$ .

$$\begin{align} \mathcal{L}(\theta) &= -\frac{1}{n}\sum_{i=1}^n \left[y_i \log(p_i) + (1-y_i) \log(1-p_i)\right] \\ &= -\frac{1}{n}\sum_{i=1}^n\sum_{j=1}^m y_{ij} \log(p_{ij}) \end{align}$$

$i$$j$$y$$p_{ij}\in(0,1):\sum_{j} p_{ij} =1\forall i,j$

L'entropie croisée binaire est destinée aux classifications multi-étiquettes, tandis que l'entropie croisée catégorique est destinée à la classification multi-classes où chaque exemple appartient à une seule classe.

Je pense qu'il y a trois sortes de tâches de classification:

1. Classification binaire: deux classes exclusives
2. Classement multi-classes: plus de deux classes exclusives
3. Classification multi-label: juste des classes non exclusives

De ceux-ci, on peut dire

• Dans le cas de (1), vous devez utiliser une entropie croisée binaire.
• Dans le cas de (2), vous devez utiliser une entropie croisée catégorique.
• Dans le cas de (3), vous devez utiliser une entropie croisée binaire. Vous pouvez simplement considérer le classifieur multi-étiquettes comme un classifieur binaire séparé. Si vous avez 10 classes ici, vous avez 10 classificateurs binaires séparément. Chaque classificateur binaire est formé indépendamment. Ainsi, nous pouvons produire des étiquettes multiples pour chaque échantillon. Si vous voulez vous assurer qu'au moins une étiquette doit être acquise, vous pouvez alors sélectionner celle avec la fonction de perte de classification la plus basse ou en utilisant d'autres métriques.

Je tiens à souligner que la classification multi-classes n'est pas similaire à la classification multi-étiquettes ! Au contraire, le classifieur multi-étiquettes emprunte une idée au classifieur binaire!