Je suis en train de valider un modèle qui essaie de prédire un nombre. S'il s'agissait d'un problème de classification binaire, je calculerais l'ASC hors pli, et s'il s'agissait d'un problème de régression, je calculerais le RMSE ou MAE hors pli.
Pour un modèle de Poisson, quelles mesures d'erreur puis-je utiliser pour évaluer la «précision» des prédictions hors échantillon? Existe-t-il une extension de Poisson de l'ASC qui examine dans quelle mesure les prédictions ordonnent les valeurs réelles?
Il semble que de nombreuses compétitions Kaggle pour les décomptes (par exemple, le nombre de votes utiles qu'un examen de yelp obtiendra, ou le nombre de jours qu'un patient passera à l'hôpital) utilisent l'erreur quadratique moyenne du journal, ou RMLSE.
/ Edit: Une chose que j'ai faite est de calculer les déciles des valeurs prédites, puis de regarder les nombres réels, regroupés par décile. Si le décile 1 est bas, le décile 10 est élevé et que les déciles intermédiaires augmentent strictement, j'ai appelé le modèle "bon", mais j'ai eu du mal à quantifier ce processus, et je suis convaincu qu'il y a un meilleur approche.
/ Edit 2: Je recherche une formule qui prend les valeurs prévues et réelles et renvoie une métrique "erreur" ou "précision". Mon plan est de calculer cette fonction sur les données hors pli lors de la validation croisée, puis de l'utiliser pour comparer une grande variété de modèles (par exemple une régression de poisson, une forêt aléatoire et un GBM ).
Par exemple, une de ces fonctions est RMSE = sqrt(mean((predicted-actual)^2))
. Une telle fonction serait AUC . Aucune de ces fonctions ne semble convenir aux données de poisson.
Réponses:
Il existe quelques règles de notation correctes et strictement correctes pour les données de comptage que vous pouvez utiliser. Les règles de notation sont des pénalités introduites, P étant la distribution prédictive et y la valeur observée. Ils ont un certain nombre de propriétés souhaitables, d'abord et avant tout qu'une prévision qui est plus proche de la vraie probabilité recevra toujours moins de pénalité et qu'il y a une meilleure prévision (unique) et que c'est lorsque la probabilité prédite coïncide avec la vraie probabilité. Ainsi, minimiser l'espérance de s ( y , P ) signifie rapporter les vrais probabilités. Voir aussi Wikipedia .s ( y, P) P y s ( y, P)
Souvent, on prend une moyenne de celles sur toutes les valeurs prédites comme
La règle à prendre dépend de votre objectif, mais je donnerai une caractérisation approximative lorsque chacun est bon à utiliser.
Règles de notation strictement appropriées
Autres règles de notation (moins appropriées mais souvent utilisées)
Exemple de code R pour les règles strictement appropriées:
la source
-log(f(y))
. Le-
signe devrait-il vraiment être là? Dans le lien wikipedia de votre règle de notation ( en.wikipedia.org/wiki/Scoring_rule#Logarithmic_scoring_rule ), le score logarithmique n'est pas un signe négatif:L(r,i)=ln(ri)
est-ce normal? Enfin, dans ce cas, un score plus élevé est-il meilleur ou pire?