Pouvons-nous interpréter la probabilité a posteriori obtenue à partir d'un classificateur qui génère une valeur de classe prédite et une probabilité (par exemple, régression logistique ou Naive Bayes) comme une sorte de score de confiance attribué à cette valeur de classe prédite?
Comme d'autres réponses l'indiquent correctement, les probabilités déclarées à partir de modèles tels que la régression logistique et les Bayes naïfs sont des estimations de la probabilité de classe. Si le modèle était vrai, la probabilité serait en effet la probabilité d'une classification correcte.
Cependant, il est assez important de comprendre que cela pourrait être trompeur car le modèle est estimé et donc pas un modèle correct. Il y a au moins trois problèmes.
L' incertitude n'est que le fait partout présent que la probabilité n'est qu'une estimation. Un intervalle de confiance de la probabilité de classe estimée pourrait donner une idée de l'incertitude (de la probabilité de classe, pas de la classification).
Si le modèle est erroné et face à lui, il l'est les probabilités de classe peuvent être assez trompeuses même si les prédictions de classe sont bonnes. La régression logistique peut fausser les probabilités de classe pour deux classes assez bien séparées si certains points de données sont un peu extrêmes. Il pourrait encore faire du bon travail en termes de classification.-
Si la procédure d'estimation (intentionnellement) fournit une estimation biaisée , les probabilités de classe sont erronées. C'est quelque chose que je vois avec les méthodes de régularisation comme le lasso et la crête pour la régression logistique. Si un choix de régularisation croisé conduit à un modèle performant en termes de classification, les probabilités de classe qui en résultent sont clairement sous-estimées (trop proches de 0,5) sur les cas de test. Ce n'est pas nécessairement mauvais, mais il est important d'en être conscient.
Pour un cas de test (entrée particulière), sa probabilité prédictive de classe (disons l'étiquette 1 pour la sortie binaire) est la chance que l'exemple de test appartient à cette classe. Dans de nombreux cas de test de ce type, la proportion appartenant à la classe 1 tendra à la probabilité prédictive. La confiance a des connotations d'intervalles de confiance, qui sont quelque chose de très différent.
Si un classificateur prédit une certaine classe avec une probabilité, ce nombre peut être utilisé comme indicateur du degré de confiance dans cette classification. À ne pas confondre avec les intervalles de confiance. Par exemple, si le classificateur P prédit deux cas comme +1 et -1 avec une probabilité de 80% et 60%, alors il est correct de dire qu'il est plus sûr de la classification +1 que de la classification -1. La variance mesurée par p (1-p) est également une bonne mesure de l'incertitude. Notez que la confiance de base est de 50% et non de 0.
Étant donné un classificateur à 2 classes (par exemple un discriminant linéaire à 2 classes ou un classificateur à régression logistique), la valeur discriminante pour les deux classes peut être appliquée à une fonction softmax pour produire une estimation de la probabilité postérieure pour cette classe:
P1 = exp (d1) / (exp (d1) + exp (d2))
Où P1 est l'estimation de probabilité postérieure pour la classe 1, d1 et d2 sont des valeurs discriminantes pour les classes 1 et 2 respectivement. Dans ce cas, la probabilité postérieure estimée pour une classe donnée peut être considérée comme un degré de confiance dans la classe, pour un cas donné car P1 sera égal à 1 - P2.