Comment choisir la largeur optimale du bac tout en calibrant les modèles de probabilité?

12

Contexte: Il y a ici d'excellentes questions / réponses sur la façon d'étalonner les modèles qui prédisent les probabilités qu'un résultat se produise. Par exemple

  1. Le score de Brier et sa décomposition en résolution, incertitude et fiabilité .
  2. Tracés d'étalonnage et régression isotonique .

Ces méthodes nécessitent souvent l'utilisation d'une méthode de binning sur les probabilités prédites, afin que le comportement du résultat (0, 1) soit lissé sur le bin en prenant le résultat moyen.

Problème: Cependant, je ne trouve rien qui m'indique comment choisir la largeur du bac.

Question: Comment choisir la largeur de bac optimale?

Tentative: deux largeurs de bacs couramment utilisées semblent être:

  1. Regroupement de largeur égale, par exemple 10 casiers couvrant chacun 10% de l'intervalle [0, 1].
  2. La méthode de binning de Tukey discutée ici .

Mais ces choix de bacs sont-ils les plus optimaux si l'on était intéressé à trouver des intervalles dans les probabilités prédites les plus mal calibrés?

probability predictive-models binary-data calibration scoring-rules Alex
la source
1
Si le résultat "1" est rare, il convient d'envisager de le diviser en bacs avec un nombre égal de "1" au lieu d'un nombre égal d'échantillons. Cela peut aider à maintenir la discrimination (AUC) du modèle après l'étalonnage
ihadanny

Réponses:

4

Toute méthode statistique utilisant le binning a finalement été jugée obsolète. L'estimation continue de la courbe d'étalonnage est courante depuis le milieu des années 1990. Les méthodes couramment utilisées sont le loess (avec la détection des valeurs aberrantes désactivée), l'étalonnage logistique linéaire et l'étalonnage logistique spline. J'entre en détail dans mon livre sur les stratégies de modélisation de la régression et mes notes de cours. Voir http://www.fharrell.com/p/blog-page.html . Le rmspackage R facilite l'obtention de courbes d'étalonnage non paramétriques lisses, soit en utilisant un échantillon externe indépendant, soit en utilisant le bootstrap sur l'échantillon de développement de modèle d'origine.

Frank Harrell
la source
0

D'après mon expérience, le binning est bon pour visualiser les distributions de probabilités, mais c'est généralement une mauvaise idée, si l'on veut l'utiliser si pour des tests statistiques et / ou l'inférence de paramètres. Principalement parce que l'on limite immédiatement la précision par la largeur du bac. Un autre problème courant est lorsque la variable n'est pas liée, c'est-à-dire qu'il faut introduire des seuils bas et élevés.

Travailler avec des distributions cumulatives dans l'esprit de Kolmogorov-Smirnov contourne bon nombre de ces problèmes. Il existe également de nombreuses bonnes méthodes statistiques disponibles dans ce cas. (voir, par exemple, https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test )

Vadim
la source