Analyse ROC et multiROC: comment calculer le point de coupure optimal?

J'essaie de comprendre comment calculer le point de coupure optimal pour une courbe ROC (la valeur à laquelle la sensibilité et la spécificité sont maximisées). J'utilise l'ensemble aSAHde données du package pROC.

La outcomevariable pourrait s'expliquer par deux variables indépendantes: s100bet ndka. En utilisant la syntaxe du Epipackage, j'ai créé deux modèles:

library(pROC)
library(Epi)
ROC(form=outcome~s100b, data=aSAH)
ROC(form=outcome~ndka, data=aSAH)

La sortie est illustrée dans les deux graphiques suivants:

Dans le premier graphique ( s100b), la fonction indique que le point de coupure optimal est localisé à la valeur correspondant à lr.eta=0.304. Dans le deuxième graphique ( ndka), le point de coupure optimal est localisé à la valeur correspondante à lr.eta=0.335(quelle est la signification de lr.eta). Ma première question est:

• quelles sont les valeurs correspondantes s100bet ndkales lr.etavaleurs indiquées (quel est le seuil optimal en termes de s100bet ndka)?

DEUXIÈME QUESTION:

Supposons maintenant que je crée un modèle prenant en compte les deux variables:

ROC(form=outcome~ndka+s100b, data=aSAH)

Le graphique obtenu est:

Je veux savoir quelles sont les valeurs de ndkaET s100bauxquelles la sensibilité et la spécificité sont maximisées par la fonction. En d'autres termes: quelles sont les valeurs de ndkaet s100bpour lesquelles nous avons Se = 68,3% et Sp = 76,4% (valeurs dérivées du graphique)?

Je suppose que cette deuxième question est liée à l'analyse multiROC, mais la documentation du Epipackage n'explique pas comment calculer le point de coupure optimal pour les deux variables utilisées dans le modèle.

Ma question semble très similaire à cette question de reasearchGate , qui dit en bref:

La détermination du score seuil qui représente un meilleur compromis entre la sensibilité et la spécificité d'une mesure est simple. Cependant, pour l'analyse de la courbe ROC multivariée, j'ai noté que la plupart des chercheurs se sont concentrés sur des algorithmes pour déterminer la précision globale d'une combinaison linéaire de plusieurs indicateurs (variables) en termes d'AUC. [...]

Cependant, ces méthodes ne mentionnent pas comment décider d'une combinaison de scores de coupure associés aux multiples indicateurs qui donne la meilleure précision diagnostique.

Une solution possible est celle proposée par Shultz dans son article , mais à partir de cet article, je ne suis pas en mesure de comprendre comment calculer le point de coupure optimal pour une courbe ROC multivariée.

Peut-être que la solution du Epipackage n'est pas idéale, donc tout autre lien utile sera apprécié.

Pour développer la réponse de Frank Harrell, ce que le Epipaquet a fait était d'ajuster une régression logistique et de faire une courbe ROC avec des prédictions de résultats de la forme suivante:

Dans votre cas, les valeurs ajustées sont (interception) = -2,379, (s100b) = 5,334 et (ndka) = 0,031. Comme vous voulez que votre résultat prévu soit de 0,312 (le seuil "optimal"), vous pouvez alors le remplacer par (j'espère que je n'ai pas introduit d'erreurs ici):$\beta_0$$\beta_1$$\beta_2$

1,588214=5,334s100

Toute paire de valeurs (s100b, ndka) qui satisfont cette égalité est "optimale". Pas de chance pour vous, il y a une infinité de ces paires. Par exemple, (0,29, 1), (0, 51,2), etc. Pire encore, la plupart d'entre eux n'ont aucun sens. Que signifie la paire (-580, 10000)? Rien!

En d'autres termes, vous ne pouvez pas établir de coupures sur les entrées - vous devez le faire sur les sorties, et c'est tout l'intérêt du modèle.

Il n'est pas approprié de rechercher des seuils sur les variables d'entrée, mais uniquement sur la sortie (par exemple, le risque prévu d'un modèle multivariable). En effet, la coupure pour x1 dépendrait de la valeur continue de x2. Et la recherche d'un point de coupure sur , pour obtenir des décisions optimales, nécessite une fonction d'utilité / perte / coût et cela n'a rien à voir avec les courbes ROC.$\hat{Y}$

Je suppose que lr.etac'est le prédicteur linéaire - le logit - du modèle ajusté, car est un symbole couramment utilisé pour lui; ou, sinon, la probabilité du modèle ajusté. (Il s'avère que c'est le dernier: voir /programming//a/38532555/1864816 .) Vous pouvez archiver le code . Dans tous les cas, vous pourrez le calculer à partir des coefficients du modèle pour n'importe quel nombre de prédicteurs. (Notez que ce ne sera pas un seuil pour chaque prédicteur séparément, mais une fonction de tous les prédicteurs.)$\eta$ROC

Votre première phrase devrait dire (comme en témoignent les graphiques) que vous cherchez où la somme de sensibilité et de spécificité est maximisée. Mais pourquoi est-ce "optimal"? Un résultat faux positif a-t-il la même importance qu'un résultat faux négatif? Voyez ici .

Vous pouvez trouver le seuil auquel le vrai taux positif (tpr) coupe le vrai taux négatif (tnr), ce sera le point auquel la somme des faux positifs et des faux négatifs est un minimum.