Qu'est-ce que cela signifie lorsque les gens disent qu'une fonction de coût est quelque chose que vous voulez minimiser?

J'ai beaucoup de mal à comprendre cela. Cela signifie-t-il que vous ne devriez pas utiliser la fonction de coût très souvent?

Non, cela signifie que vous essayez de trouver les entrées qui rendent la sortie de la fonction de coût la plus petite. Cela ne signifie pas que vous devez "minimiser" son utilisation.

Une fonction de coût est quelque chose que vous utilisez pour pénaliser les écarts importants par rapport aux résultats attendus par rapport à vos prévisions réelles.

Vous pouvez considérer une fonction de coût comme un signe de la gravité de votre prédiction. Une valeur de fonction de coût élevée signifie que la prédiction était vraiment désactivée, d'où l'accent mis sur la minimisation de la fonction de coût, produisant ainsi un modèle de prédiction précis.

Les fonctions de coût dans le contexte du Machine Learning calculent souvent une sorte de métrique qui indique la performance de votre modèle. Une erreur courante est par exemple l'erreur quadratique moyenne, où vous regardez tous vos exemples de test où vous connaissez la valeur réelle et la valeur prédite, prenez la différence entre cela et mettez-la au carré. En minimisant cette erreur (fonction de coût), vous supposez que vos prévisions seront meilleures.

Considérez que vous avez des données et que vous souhaitez modéliser une fonction qui correspond aux données. Cette fonction devrait bien s'adapter et ne devrait pas contenir d'erreur (idéalement). Comment définir cette erreur? et voila vient la fonction de coût.

Minimiser une fonction (coût) signifie que vous voulez trouver de bonnes valeurs pour ses paramètres. De bons paramètres signifient que la fonction peut produire les meilleurs résultats possibles, à savoir les plus petits, car de petites valeurs signifient moins d'erreurs . Il s'agit d'un problème d'optimisation: le problème de trouver la meilleure solution parmi toutes les solutions possibles. ( source )