Construire une fonction de perte spécifique au problème

Description du problème

Je commence la construction d'un réseau pour un problème qui, selon moi, pourrait avoir une fonction de perte bien plus perspicace qu'une simple régression MSE.

Mon problème concerne la classification multi-catégories ( voir ma question sur SO pour ce que je veux dire par là), où il y a une distance définie ou une relation entre les catégories qui devrait être prise en compte.

Un autre point est que l'erreur ne doit pas être due au nombre de catégories de tir présentes. C'est-à-dire que l'erreur pour 5 catégories de tir chacune de 0,1, devrait être la même que 1 catégorie de tir de 0,1. (en tirant, je veux dire qu'ils sont non nuls ou supérieurs à un certain seuil)

Points clés

classification multi-catégories (plusieurs tirs à la fois)
relations entre les catégories
le nombre de catégories de tir ne devrait pas affecter la perte

Ma tentative

L'erreur quadratique moyenne semble être un bon point de départ:

Ceci considère simplement la catégorie par catégorie, qui est toujours valable dans mon problème mais manque une grande partie de l'image.

Voici ma tentative de rectifier l'idée de distance entre les catégories. Ensuite, je voudrais prendre en compte le nombre de catégories de tir ( appelez-le: v )

Ma question

J'ai une très faible formation en statistiques; en conséquence, je n'ai pas beaucoup d'outils dans ma ceinture pour aborder un problème comme celui-ci. Le sujet général de ce que je demande semble être "Lors de la formation d'une fonction de coût, comment procéder pour combiner plusieurs mesures de coût? Ou quelles techniques peut-on appliquer pour le faire?" . J'apprécierais également que tout défaut de mon processus de pensée soit exposé et amélioré.

J'apprécie qu'on m'apprenne pourquoi mes erreurs sont des erreurs, par opposition à ce que quelqu'un les corrige uniquement sans explication.

Si un élément de cette question manque de clarté ou pourrait être amélioré, faites-le moi savoir.

neural-networks loss-functions Aidan Gomez
la source

Aidan, il est bon de voir autant de réflexion consacrée à la création d'une fonction de perte spécifique au problème. Je serais enclin à voir cela comme un problème mathématique plutôt que comme un problème de statistiques. Vous recherchez une fonction de perte qui prend les matrices 2x5 aux nombres réels, et vous avez des idées fortes sur certains invariants que cette fonction doit satisfaire, ce qui impose donc des contraintes sur la forme fonctionnelle. Si vous pouviez expliquer la signification de vos matrices, je pourrais probablement offrir des conseils plus spécifiques pour la construction de votre fonction de perte.

David C. Norris,

Vous pouvez utiliser la perte de charnière qui est une limite supérieure de la perte de classification; c'est-à-dire qu'il pénalise le modèle si le label de la catégorie ayant le score le plus élevé est différent du label de la classe de vérité terrain.

Pour plus de détails sur la relation entre la perte de classification et la perte de charnière, vous pouvez lire la section 2 de cet article impressionnant de CNJ Yu et T. Joachims.

En résumé, il y a une perte de tâche , généralement désignée par $\Delta \left( y_i, \hat{y}(x_i) \right)$ , qui mesure la pénalité pour prédire la production $\hat{y}(x_i)$ pour entrée $x_i$ lorsque la sortie attendue (vérité du sol) est $y_i$ . La perte de tâche pour la classification multiclasse est généralement définie comme $\Delta \left( y_i, \hat{y}(x_i) \right) = \mathbf{1}\{ y_i \neq \hat{y}(x_i) \}$ . Cependant, tant que $\Delta$ ne dépend que des deux labels $y$ et $\hat{y}$ , vous pouvez le définir comme vous le souhaitez. En particulier, on peut voir $\Delta$ comme arbitraire $K \times K$ matrice où $K$ est le nombre de catégories et $\Delta(a, b)$ indique la pénalité de classer une entrée de catégorie $a$ comme appartenant à la catégorie $b$ .

Par exemple: $\\\text{input data}: \\ \{(x_1, y_1), (x_2, y_2), (x_3, y_3)\}, \quad x_i \in \mathbb{R}^d, \quad y_i \in \mathcal{Y}=\{c_1, c_2, c_3, c_4\} \\ \text{network predictions}:\\ \hat{y}(x_1)=c_2, \quad \hat{y}(x_2)=c_1, \quad \hat{y}(x_3)=c_3 \\ \text{task loss matrix}:\\ \begin{bmatrix} \Delta(y_{1}, y_{1}) & \Delta(y_{1}, y_{2}) & \Delta(y_{1}, y_{3}) & \Delta(y_{1}, y_{4}) \\ \Delta(y_{2}, y_{1}) & \Delta(y_{2}, y_{2}) & \Delta(y_{2}, y_{3}) & \Delta(y_{2}, y_{4}) \\ \Delta(y_{3}, y_{1}) & \Delta(y_{3}, y_{2}) & \Delta(y_{3}, y_{3}) & \Delta(y_{3}, y_{4}) \\ \Delta(y_{4}, y_{1}) & \Delta(y_{4}, y_{2}) & \Delta(y_{4}, y_{3}) & \Delta(y_{4}, y_{4}) \end{bmatrix} = \begin{bmatrix} 0 & 1 & 2 & 3 \\ 1 & 0 & 1 & 2 \\ 2 & 1 & 0 & 1 \\ 3 & 2 & 1 & 0 \end{bmatrix} \\ \text{classification loss assuming $\quad y_1=c_4, \quad y_2=c_1, \quad y_3=c_4$:} \\ \Delta(y_1, \hat{y}(x_1)) = \Delta(c_4, c_2) = 2 \\ \Delta(y_2, \hat{y}(x_2)) = \Delta(c_1, c_1) = 0 \\ \Delta(y_3, \hat{y}(x_3)) = \Delta(c_4, c_3) = 1 \\$

Sobi
la source

merci beaucoup pour la réponse. J'ai ajouté un exemple à votre question (peut être encore en examen par les pairs lorsque vous voyez ce commentaire). Pouvez-vous confirmer que mon interprétation est correcte?

Aidan Gomez

Je vois, cela est précieux dans un problème de style de classification, mais le mien est la régression (avec des étiquettes multidimensionnelles), où plusieurs catégories peuvent être "activées" en même temps. Cela semble être similaire à un argmax; pour chaque entrée, il considère uniquement la plus grande catégorie de sortie. Dans mon problème, on pourrait avoir une étiquette comme {1,0,1,1} où les catégories 0, 2, 3 sont toutes présentes dans les données mais pas la catégorie 1. Si mon réseau a deviné {0.8, 0, 0.6, 0.3}, ma perte ne devrait pas être la même qu'une supposition comme {0.8, 0, 0.7, 0.7}.

Aidan Gomez

Je crois toujours que ma réponse répond à votre question! Ce que j'ai expliqué s'appelle SVM structurel où l'espace d'étiquette

Y

$\mathcal{Y}$ (c'est-à-dire l'espace dans lequel vivent les étiquettes de vérité du sol) peut avoir n'importe quelle structure. Il me semble que ce que vous voulez peut être obtenu comme suit: considérez un problème de classification avec

K

$K$ catégories; définir

Y = {0, 1}^{K}

$\mathcal{Y} = \{0, 1\}^K$ . La seule chose est que la taille de votre

Δ

$\Delta$ la matrice devient alors

2^{K} \times 2^{K}

$2^K \times 2^K$ . Cependant, vous n'aurez peut-être pas besoin de spécifier la matrice. N'hésitez pas à demander plus de détails si cela semble répondre à votre question.

Sobi

Cela ressemble au chemin correct, pourriez-vous fournir un exemple simple comme nous l'avons fait pour le boîtier d'étiquette 1 dimension? Peut-être pour K = 2 ou 3

Aidan Gomez

Disons que pour une entrée

x

$x$ La bonne réponse est

y = (0, 1, 1)

$y=(0, 1, 1)$ mais vos classificateurs prédisent

\hat{y} (x) = (0.1, 0.9, 0.8)

$\hat{y}(x)=(0.1, 0.9, 0.8)$ . Dans ce cas, je suppose

Δ : {0, 1}^{3} \times [0, 1]^{3} \to R

$\Delta: \{0, 1\}^3 \times [0, 1]^3 \rightarrow \mathbb{R}$ . Vous pouvez définir la fonction de perte comme, par exemple,

Δ (y, \hat{y}) = {max}_{k = 1}^{K} | y [k] - \hat{y} [k] |

$\Delta(y, \hat{y}) = \max_{k=1}^K |y[k] - \hat{y}[k]|$ ; cela examine les prédictions du classificateur pour toutes les classes et renvoie la valeur de perte de la classe qui est la plus éloignée de sa valeur de vérité terrain correspondante.

Sobi

Construire une fonction de perte spécifique au problème

Description du problème

Points clés

Ma tentative

Ma question

Réponses: