Supposons que j'ai un modèle prédictif qui produit, pour chaque instance, une probabilité pour chaque classe. Je reconnais maintenant qu'il existe de nombreuses façons d'évaluer un tel modèle si je veux utiliser ces probabilités pour la classification (précision, rappel, etc.). Je reconnais...
Afin d'étalonner un niveau de confiance à une probabilité dans un apprentissage supervisé (par exemple, pour mapper la confiance d'un SVM ou d'un arbre de décision à l'aide de données suréchantillonnées), une méthode consiste à utiliser la mise à l'échelle de Platt (par exemple, obtenir des...
Je voudrais des conseils sur la mise en commun des tracés / statistiques d'étalonnage après imputation multiple. Dans le cadre du développement de modèles statistiques afin de prédire un événement futur (par exemple en utilisant les données des dossiers hospitaliers pour prédire la survie ou les...
Scikit a CalibratedClassifierCV , qui nous permet d'étalonner nos modèles sur une paire X, y particulière. Il indique également clairement quedata for fitting the classifier and for calibrating it must be disjoint. S'ils doivent être disjoints, est-il légitime de former le classificateur avec les...
Contexte: Il y a ici d'excellentes questions / réponses sur la façon d'étalonner les modèles qui prédisent les probabilités qu'un résultat se produise. Par exemple Le score de Brier et sa décomposition en résolution, incertitude et fiabilité . Tracés d'étalonnage et régression isotonique . Ces...
Je programme et fais du développement piloté par les tests. Après avoir modifié mon code, je lance mes tests. Parfois, ils réussissent et parfois ils échouent. Avant d'exécuter un test, j'écris un nombre de 0,01 à 0,99 pour ma certitude que le test réussira. Je veux savoir si je m'améliore en...
Question : J'ai adapté un modèle probabiliste (réseau bayésien) pour modéliser une variable de résultat binaire. Je voudrais créer un tracé d'étalonnage haute résolution (par exemple spline) corrigé pour le sur-ajustement avec bootstrapping. Existe-t-il une procédure standard pour calculer une...
Dans le scikit, apprendre des documents sur l'étalonnage des probabilités, ils comparent la régression logistique avec d'autres méthodes et remarquent que la forêt aléatoire est moins bien étalonnée que la régression logistique. Pourquoi la régression logistique est-elle bien calibrée? Comment...