Comment dériver l'interprétation probabiliste de l'AUC?

Pourquoi l'aire sous la courbe ROC a-t-elle une probabilité qu'un classificateur classe une instance "positive" choisie au hasard (à partir des prédictions récupérées) plus élevée qu'une instance "positive" choisie au hasard (à partir de la classe positive d'origine)? Comment prouver mathématiquement cette affirmation en utilisant l'intégrale, en donnant les CDF et PDF des véritables distributions de classes positives et négatives?

Tout d'abord, essayons de définir formellement l'aire sous la courbe ROC. Quelques hypothèses et définitions:

• Nous avons un classificateur probabiliste qui génère un «score» s (x), où x sont les caractéristiques, et s est une fonction monotone croissante générique de la probabilité estimée p (classe = 1 | x).

• $f_{k}(s)$ , avec : = pdf des scores pour la classe k, avec CDF$k = \{0, 1\}$$F_{k}(s)$

• La classification d'une nouvelle observation est obtenue en comparant le score s à un seuil t

De plus, pour des raisons mathématiques, considérons la classe positive (événement détecté) k = 0 et négative k = 1. Dans ce paramètre, nous pouvons définir:

• Rappel (alias sensibilité, alias TPR) : (proportion de cas positifs classés comme positifs)$F_{0}(t)$
• Spécificité (alias TNR) : (proportion de cas négatifs classés comme négatifs)$1 - F_{1}(t)$
• FPR (aka Fall-out) : 1 - TNR =$F_{1}(t)$

La courbe ROC est alors un tracé de contre . En définissant , nous pouvons définir formellement l'aire sous la courbe ROC comme : Modification de la variable ( ): $F_{0}(t)$$F_{1}(t)$$v = F_1(s)$

$$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$$ $dv = f_{1}(s)ds$ $$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$$

Cette formule peut facilement être considérée comme la probabilité qu'un membre tiré au hasard de la classe 0 produise un score inférieur au score d'un membre tiré au hasard de la classe 1.

Cette preuve est tirée de: https://pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf

La réponse de @ alebu est excellente. Mais sa notation n'est pas standard et utilise 0 pour la classe positive et 1 pour la classe négative. Voici les résultats de la notation standard (0 pour la classe négative et 1 pour la classe positive):

Pdf et cdf du score pour la classe négative: et$f_0(s)$$F_0(s)$

Pdf et cdf du score pour la classe positive: et$f_1(s)$$F_1(s)$

FPR =$x(s) = 1-F_0(s)$

TPR =$y(s) = 1-F_1(s)$

$$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$$

où signifie seuil. On peut appliquer l'interprétation de la réponse de @ alebu à la dernière expression.$\tau$

La façon de calculer l'AUC-ROC consiste à tracer le TPR et le FPR comme seuil, est modifié et calcule l'aire sous cette courbe. Mais pourquoi cette zone sous la courbe est-elle la même que cette probabilité? Supposons ce qui suit:$\tau$

1. $A$ est la distribution des scores que le modèle produit pour les points de données qui sont réellement dans la classe positive.
2. $B$ est la distribution des scores que le modèle produit pour les points de données qui sont en fait dans la classe négative (nous voulons que ce soit à gauche de ).$A$
3. $\tau$ est le seuil de coupure. Si un point de données obtient un score supérieur à celui-ci, il est prévu comme appartenant à la classe positive. Sinon, il devrait être dans la classe négative.

Notez que le TPR (rappel) est donné par: et le FPR (retombées) est donné par: .$P(A>\tau)$$P(B>\tau)$

Maintenant, nous traçons le TPR sur l'axe des y et le FPR sur l'axe des x, dessinons la courbe pour divers et calculons l'aire sous cette courbe ( ).$\tau$$AUC$

On a:

$$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$$ où est le FPR. Maintenant, une façon de calculer cette intégrale est de considérer comme appartenant à une distribution uniforme. Dans ce cas, cela devient simplement l'attente du .$x$$x$$TPR$

$$AUC = E_x[P(A>\tau(x))] \tag{1}$$ si l'on considère .$x \sim U[0,1)$

Maintenant, ici était juste le$x$$FPR$

$$x=FPR = P(B>\tau(x))$$ Puisque nous considérons que provient d'une distribution uniforme,$x$

$$P(B>\tau(x)) \sim U$$ $$=> P(B<\tau(x)) \sim (1-U) \sim U$$ $$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$$

Mais nous savons de la transformation inverse la loi que pour toute variable aléatoire , si puis . Cela suit puisque la prise de n'importe quelle variable aléatoire et l'application de son propre CDF conduit à l'uniforme.$X$$F_X(Y) \sim U$$Y \sim X$

$$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$$ et cela ne vaut que pour l'uniforme.

L'utilisation de ce fait dans l'équation (2) nous donne:

$$\tau(x) \sim B$$

En substituant cela à l'équation (1), nous obtenons:

$$AUC=E_x(P(A>B))=P(A>B)$$

En d'autres termes, l'aire sous la courbe est la probabilité qu'un échantillon positif aléatoire obtienne un score plus élevé qu'un échantillon négatif aléatoire.