Les règles de notation permettent d'évaluer la précision des probabilités prédites, ou plus généralement des densités prédictives. Des exemples de règles de notation incluent la probabilité logarithmique, Brier, sphérique, classée et le score Dawid-Sebastiani et l'écart prédictif.
C'est une question générale qui a été posée indirectement à plusieurs reprises ici, mais il manque une seule réponse faisant autorité. Il serait bon d'avoir une réponse détaillée à cette question pour la référence. L’exactitude , la proportion de classifications correctes parmi toutes les...
J'ai beaucoup réfléchi au «problème de déséquilibre de classe» dans l'apprentissage machine / statistique ces derniers temps, et j'approfondis de plus en plus le sentiment que je ne comprends tout simplement pas ce qui se passe. Permettez-moi d'abord de définir (ou d'essayer de) définir mes termes:...
Je suis en train de valider un modèle qui essaie de prédire un nombre. S'il s'agissait d'un problème de classification binaire, je calculerais l'ASC hors pli, et s'il s'agissait d'un problème de régression, je calculerais le RMSE ou MAE hors pli. Pour un modèle de Poisson, quelles mesures d'erreur...
Merkle et Steyvers (2013) écrivent: Pour définir formellement une règle de notation appropriée, soit une prévision probabiliste d'un essai de Bernoulli avec une vraie probabilité de succès . Les règles de notation appropriées sont des mesures dont les valeurs attendues sont minimisées si...
J'ai récemment terminé un concours Kaggle dans lequel le score roc auc a été utilisé conformément aux exigences du concours. Avant ce projet, j'utilisais normalement le score f1 comme mesure pour mesurer les performances du modèle. À l'avenir, je me demande comment dois-je choisir entre ces deux...
La plupart des ressources sur les règles de notation appropriées mentionnent un certain nombre de règles de notation différentes comme la perte de journal, le score de Brier ou la notation sphérique. Cependant, ils ne donnent souvent pas beaucoup d'indications sur les différences entre eux. (Pièce...
Premièrement, il donne la probabilité des résultats. Ainsi, par exemple, ses prédictions pour les élections américaines sont actuellement de 82% pour Clinton contre 18% pour Trump. Maintenant, même si Trump gagne, comment puis-je savoir que ce n'était pas seulement les 18% du temps qu'il aurait dû...
Une règle de notation appropriée est une règle qui est maximisée par un `` vrai '' modèle et qui ne permet pas de `` couvrir '' ou de jouer le système (rapportant délibérément des résultats différents, comme le croit réellement le modèle pour améliorer le score). Le score Brier est correct, la...
J'ai récemment appris les règles de notation appropriées pour les classificateurs probabilistes. Plusieurs discussions sur ce site Web ont mis un point d'honneur à souligner que la précision est une règle de notation incorrecte et ne doit pas être utilisée pour évaluer la qualité des prévisions...
Contexte: Il y a ici d'excellentes questions / réponses sur la façon d'étalonner les modèles qui prédisent les probabilités qu'un résultat se produise. Par exemple Le score de Brier et sa décomposition en résolution, incertitude et fiabilité . Tracés d'étalonnage et régression isotonique . Ces...
La question d'hier Déterminer l'exactitude du modèle qui estime la probabilité d'un événement m'a rendu curieux au sujet de la notation des probabilités. Le score de Brier est une mesure d'erreur quadratique moyenne. Est-ce que l'analogue signifie une mesure absolue des performances d'erreur...
Je modélise un événement avec deux résultats, a et b. J'ai créé un modèle qui estime la probabilité que a ou b se produise (c'est-à-dire que le modèle calculera que a se produira avec 40% de chance et b se produira avec 60% de chance). J'ai un grand dossier de résultats d'essais avec les...
J'exécute une analyse sur la probabilité de défaut de paiement en utilisant une régression logistique et des forêts aléatoires. Lorsque j'utilise la régression logistique, la prédiction est toujours «1» (ce qui signifie un bon prêt). Je n'ai jamais vu cela auparavant et je ne sais pas par où...
Je programme et fais du développement piloté par les tests. Après avoir modifié mon code, je lance mes tests. Parfois, ils réussissent et parfois ils échouent. Avant d'exécuter un test, j'écris un nombre de 0,01 à 0,99 pour ma certitude que le test réussira. Je veux savoir si je m'améliore en...
Exemples: J'ai une phrase dans la description de poste: "Java senior engineer in UK". Je veux utiliser un modèle d'apprentissage profond pour le prédire en 2 catégories: English et IT jobs. Si j'utilise un modèle de classification traditionnel, il ne peut prédire qu'une seule étiquette avec...
Une approche typique pour résoudre un problème de classification consiste à identifier une classe de modèles candidats, puis à effectuer une sélection de modèle à l'aide d'une procédure telle que la validation croisée. Généralement, on sélectionne le modèle avec la plus grande précision, ou une...
Supposons que je fasse un tas de prévisions probabilistes comme: 70% de probabilité que la croissance des ventes soit de 10 à 15% au premier trimestre, 10% de probabilité que la croissance des ventes soit> 15%, 20% de probabilité que la croissance des ventes soit <10% Compte tenu des données...
Une règle de notation est un moyen d'évaluer la supposition d'un agent des probabilités associées à un événement catégoriel, étant donné un résultat (catégorique) de l'événement. Selon la supposition et le résultat observé, la règle de notation attribue à l'agent un score (un nombre réel). Une...
J'utilise la régression logistique pour prédire la probabilité qu'un événement se produise. En fin de compte, ces probabilités sont placées dans un environnement de production, où nous nous concentrons autant que possible sur nos prévisions de «oui». Il est donc utile pour nous d'avoir une idée de...