La plupart des ressources sur les règles de notation appropriées mentionnent un certain nombre de règles de notation différentes comme la perte de journal, le score de Brier ou la notation sphérique. Cependant, ils ne donnent souvent pas beaucoup d'indications sur les différences entre eux. (Pièce A: Wikipedia .)
Choisir le modèle qui maximise le score logarithmique correspond à choisir le modèle de maximum de vraisemblance, ce qui semble être un bon argument pour utiliser la notation logarithmique. Existe-t-il des justifications similaires pour la notation Brier ou sphérique, ou d'autres règles de notation? Pourquoi quelqu'un utiliserait-il l'un de ces éléments plutôt que la notation logarithmique?
Réponses:
Donc, idéalement, nous distinguons toujours l' ajustement d'un modèle de la prise de décision . Dans la méthodologie bayésienne, la notation et la sélection des modèles doivent toujours être effectuées en utilisant la vraisemblance marginale . Vous utilisez ensuite le modèle pour faire des prédictions probabilistes, et votre fonction de perte vous indique comment agir sur ces prédictions.
Malheureusement dans le monde réel, les performances de calcul dictent souvent que nous confondons la sélection de modèle et la prise de décision et utilisons donc une fonction de perte pour s'adapter à nos modèles. C'est là que la subjectivité dans la sélection des modèles se glisse, car vous devez deviner combien différents types d'erreur vous coûteront. L'exemple classique est un diagnostic de cancer: surestimer la probabilité de cancer d'une personne n'est pas bon, mais la sous-estimer est bien pire.
En passant, si vous cherchez des conseils sur la façon de choisir une règle de notation, vous voudrez peut-être également chercher des conseils sur le choix d'une fonction de perte ou la conception d'une fonction d'utilité, car je pense que la littérature sur ces deux sujets est beaucoup plus volumineux.
la source