Dans l'apprentissage automatique, les gens parlent de fonction objective, de fonction de coût, de fonction de perte. Sont-ils juste des noms différents de la même chose? Quand les utiliser? S'ils ne font pas toujours référence à la même chose, quelles sont les différences?
80
Réponses:
Ce ne sont pas des termes très stricts et ils sont très liés. Pourtant:
Longue histoire courte, je dirais que:
Une fonction de perte est une partie d' une fonction de coût qui est un type de fonction objectif.
la source
Selon le professeur Andrew Ng (voir diapositives page 11),
La fonction h (X) représente votre hypothèse. Pour les paramètres d'ajustement fixes thêta, c'est une fonction des caractéristiques X. Je dirais que cela peut aussi s'appeler la fonction objectif.
La fonction Cost J est fonction des paramètres d’ajustement thêta. J = J (thêta).
Selon le manuel de Hastie et al. "Elements of Statistical Learning" , p.37:
Il semble donc que "fonction de perte" est un terme légèrement plus général que "fonction de coût". Si vous recherchez "perte" dans ce fichier PDF, je pense qu'ils utilisent "fonction de coût" et "fonction de perte" un peu comme un synonyme.
En effet, p. 502
Peut-être que ces termes existent parce qu'ils ont évolué indépendamment dans différentes communautés académiques. "Fonction objectif" est un ancien terme utilisé dans la recherche opérationnelle et les mathématiques d'ingénierie. La "fonction de perte" pourrait être plus utilisée par les statisticiens. Mais je spécule ici.
la source
Dans les mots d'Andrew NG-
la source
De la section 4.3 dans "Apprendre en profondeur" - Ian Goodfellow, Yoshua Bengio et Aaron Courville http://www.deeplearningbook.org/
"La fonction que nous voulons minimiser ou maximiser est appelée fonction objectif ou critère. Lorsque nous la minimisons, nous pouvons également l'appeler fonction de coût, fonction de perte ou fonction d'erreur. Dans le présent ouvrage, nous utilisons ces termes de manière interchangeable. bien que certaines publications d’apprentissage automatique attribuent une signification particulière à certains de ces termes. "
Dans ce livre, au moins, les pertes et les coûts sont les mêmes.
la source
Pour vous donner une réponse courte, selon moi, ils sont synonymes. Cependant, la fonction de coût est davantage utilisée dans le problème d'optimisation et la fonction de perte dans l'estimation de paramètre.
la source
Les termes fonctions de coût et de perte sont synonymes, certaines personnes l'appellent également fonction d'erreur. Le scénario plus général consiste à définir d’abord une fonction objectif que nous souhaitons optimiser. Cette fonction objectif pourrait être de
la source
En fait, pour être simple Si vous avez m données de formation comme ceci (x (1), y (1)), (x (2), y (2)),. . . (x (m), y (m)) Nous utilisons la fonction de perte L (ycap, y) pour rechercher une perte entre ycap et y d’un seul ensemble d’entraînement. Si nous voulons rechercher une perte entre ycap et y d’un ensemble complet d’entraînement, nous utilisons fonction de coût.
Remarque: - ycap correspond à la sortie de notre modèle et y à la sortie attendue
Remarque: - Le crédit va à la ressource: réseau de neurones de coursera et apprentissage en profondeur
la source
La fonction de perte calcule l'erreur pour un seul exemple d'apprentissage, tandis que la fonction de coût est la moyenne des fonctions de perte de l'ensemble d'apprentissage.
la source