Quand est-il approprié d'utiliser une règle de notation incorrecte?

27

Merkle et Steyvers (2013) écrivent:

Pour définir formellement une règle de notation appropriée, soit une prévision probabiliste d'un essai de Bernoulli avec une vraie probabilité de succès . Les règles de notation appropriées sont des mesures dont les valeurs attendues sont minimisées si .fdpf=p

Je comprends que c'est bien parce que nous voulons encourager les prévisionnistes à générer des prévisions qui reflètent honnêtement leurs vraies croyances, et ne voulons pas leur donner des incitations perverses à faire autrement.

Existe-t-il des exemples concrets dans lesquels il est approprié d'utiliser une règle de notation incorrecte?

Référence
Merkle, EC et Steyvers, M. (2013). Choisir une règle de notation strictement appropriée. Analyse des décisions, 10 (4), 292-304

user1205901 - Réintégrer Monica
la source
1
Je pense que la première colonne de la dernière page de Winkler & Jose "Scoring rules" (2010) que Merkle & Steyvers (2013) cite offre une réponse. À savoir, si l'utilité n'est pas une transformation affine du score (qui pourrait être justifiée par l'aversion au risque et autres), la maximisation de l'utilité attendue serait en conflit avec la maximisation du score attendu
Richard Hardy

Réponses:

25

Il convient d'utiliser une règle de notation incorrecte lorsque le but est réellement la prévision, mais pas l'inférence. Je ne me soucie pas vraiment de savoir si un autre prévisionniste triche ou non quand je suis celui qui va faire les prévisions.

Des règles de notation appropriées garantissent que pendant le processus d'estimation, le modèle se rapproche du véritable processus de génération de données (DGP). Cela semble prometteur car à mesure que nous approchons du vrai DGP, nous allons également faire du bien en termes de prévision sous n'importe quelle fonction de perte. Le hic, c'est que la plupart du temps (en fait en réalité presque toujours) notre espace de recherche de modèle ne contient pas le vrai DGP. Nous finissons par approximer le vrai DGP avec une forme fonctionnelle que nous proposons.

Dans ce contexte plus réaliste, si notre tâche de prévision est plus facile que de déterminer la densité totale du vrai DGP, nous pouvons en fait faire mieux. Cela est particulièrement vrai pour la classification. Par exemple, le vrai DGP peut être très complexe mais la tâche de classification peut être très facile.

Yaroslav Bulatov a fourni l'exemple suivant dans son blog:

http://yaroslavvb.blogspot.ro/2007/06/log-loss-or-hinge-loss.html

Comme vous pouvez le voir ci-dessous, la véritable densité est ondulante, mais il est très facile de créer un classificateur pour séparer les données générées par celui-ci en deux classes. Tout simplement si classe de sortie 1, et si classe de sortie 2.x0x<0

entrez la description de l'image ici

Au lieu de correspondre à la densité exacte ci-dessus, nous proposons le modèle brut ci-dessous, qui est assez loin du vrai DGP. Cependant, il fait un classement parfait. Ceci est trouvé en utilisant la perte de charnière, ce qui n'est pas approprié.

entrez la description de l'image ici

D'un autre côté, si vous décidez de trouver le vrai DGP avec perte de journal (ce qui est approprié), vous commencez à ajuster certaines fonctionnalités, car vous ne savez pas quelle forme fonctionnelle exacte vous avez besoin a priori. Mais alors que vous essayez de plus en plus de faire correspondre, vous commencez à classer les choses de manière erronée.

entrez la description de l'image ici

Notez que dans les deux cas, nous avons utilisé les mêmes formes fonctionnelles. Dans le cas d'une perte incorrecte, elle a dégénéré en une fonction échelonnée qui à son tour a fait une classification parfaite. Dans le cas approprié, il est devenu fou furieux d'essayer de satisfaire chaque région de la densité.

Fondamentalement, nous n'avons pas toujours besoin de réaliser le vrai modèle pour avoir des prévisions précises. Ou parfois, nous n'avons pas vraiment besoin de faire du bien sur tout le domaine de la densité, mais d'être très bons seulement sur certaines parties de celle-ci.

Cagdas Ozgenc
la source
13
C'est un exemple fascinant, vraiment matière à réflexion.
Matthew Drury
7

La précision (c.-à-d. Le pourcentage correctement classé) est une règle de notation incorrecte, donc dans un certain sens, les gens le font tout le temps.

Plus généralement, toute règle de notation qui force les prédictions dans une catégorie prédéfinie sera incorrecte. La classification en est un cas extrême (les seules prévisions autorisées sont 0% et 100%), mais les prévisions météorologiques sont probablement aussi légèrement incorrectes - mes stations locales semblent signaler le risque de pluie à 10 ou 20% d'intervalle, bien que je Je parie que le modèle sous-jacent est beaucoup plus précis.

Des règles de notation appropriées supposent également que le prévisionniste est neutre vis-à-vis du risque. Ce n'est souvent pas le cas pour les prévisionnistes humains réels, qui sont généralement défavorables au risque, et certaines applications pourraient bénéficier d'une règle de notation qui reproduit ce biais. Par exemple, vous pourriez donner un peu de poids supplémentaire à P (pluie), car porter un parapluie sans en avoir besoin est bien mieux que d'être pris dans une averse.

Matt Krause
la source
3
Je ne pense pas avoir compris votre troisième paragraphe. J'avais rédigé une réponse similaire dans le sens que nous pourrions vouloir nous concentrer davantage sur l'obtention de quantiles élevés de densités prédictives, mais je ne vois pas comment une telle fonction de perte nous motiverait à utiliser une règle de notation incorrecte. Nous serions toujours les plus motivés pour prévoir la distribution future correcte, après tout. Pourriez-vous élaborer?
S.Kolassa - Reinstate Monica
1
Si le prévisionniste maximise son utilité attendue (au lieu de la valeur), alors les règles de notation appropriées peuvent ne pas être réellement appropriées (par exemple, si l'utilité n'est pas une fonction linéaire du score). Cependant, si vous connaissez ou pouvez estimer la fonction d'utilité, je suppose que vous pourriez trouver une règle de notation appropriée spécialement adaptée à la place en appliquant son inverse.
Matt Krause
3
Mais la pertinence ou non de la règle de notation n'est pas liée à l'utilité, seulement à la distribution future prévue et réelle, donc je ne comprends toujours pas la première phrase de votre commentaire, ni pourquoi nous voudrions utiliser une règle de notation incorrecte . Cependant, vous me rappelez un article d'Ehm at al, à paraître dans JRSS-B , que j'ai parcouru en écrivant ma réponse avortée, mais où je n'ai rien trouvé d'utile pour la présente question - une lecture plus approfondie peut être plus utile.
S.Kolassa - Reinstate Monica
@StephanKolassa, peut-être la première colonne de la dernière page de Winkler & Jose "Règles de notation" (2010) l'explique-t-elle?
Richard Hardy
Les commentaires ne sont pas pour une discussion approfondie; cette conversation a été déplacée vers le chat .
gung - Rétablir Monica