Analogues de sensibilité et de spécificité pour des résultats continus

8

Comment puis-je calculer la sensibilité et la spécificité (ou des mesures analogues) d'un test de diagnostic continu pour prédire un résultat continu (par exemple, la pression artérielle) sans dichotomiser le résultat? Des idées?

Il semble que les chercheurs l'ont fait en utilisant la modélisation à effets mixtes (voir le lien ci-dessous), mais je ne connais pas leur utilisation de la technique: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3026390/

Soit dit en passant, je connais le mieux R, donc ce serait idéal pour l'implémentation que vous proposez d'être accompagnée d'une fonction R (mais ça va si ce n'est pas le cas).

Merci d'avance pour toutes suggestions!

itpetersen
la source

Réponses:

1

Comme la question est toujours sans réponse, voici mon 2ct:
Je pense que deux sujets différents sont mélangés à cette question:

Comment puis-je calculer la sensibilité et la spécificité (ou des mesures analogues) d'un test de diagnostic continu pour prédire un résultat continu (par exemple, la pression artérielle) sans dichotomiser le résultat?

Je suppose que vous souhaitez mesurer les performances du modèle. Le modèle prédit un résultat (métrique) continu à partir d'une sorte d'entrée (il se trouve que c'est également une métrique dans votre exemple, mais cela n'a pas vraiment d'importance ici). Il s'agit d'un scénario de régression, pas d'une classification. Il vaut donc mieux chercher des mesures de performance pour les modèles de régression, la sensibilité et la spécificité ne sont pas ce que vous recherchez *.
Certains problèmes de régression ont un regroupement «naturel» en présence et absence de quelque chose, ce qui donne un lien avec la classification. Pour cela, vous pouvez avoir une distribution bimodale: beaucoup de cas avec absence, et une distribution métrique des valeurs pour les cas de présence. Par exemple, pensez à une substance qui contamine un produit. De nombreux échantillons de produits ne contiendront pas le contaminant, mais pour ceux qui le font, une gamme de concentrations est observée.

Cependant, ce n'est pas le cas pour votre exemple de tension artérielle (l'absence de pression artérielle n'est pas un concept sensé ici). Je suppose même que la pression artérielle est répartie de façon unimodale. Tout cela pointe vers un problème de régression sans lien étroit avec la classification.

* Avec la mise en garde que les deux mots sont utilisés en chimie analytique pour la régression (étalonnage), mais avec un sens différent: là, la sensibilité est la pente de la fonction d'étalonnage / régression, et spécifique signifie parfois que la méthode est complètement sélective , que est-il insensible à d'autres substances que l'analyte, et aucune sensibilité croisée ne se produit.
AD McNaught et A. Wilkinson, éd.: Compendium of Chemical Terminology (le «Livre d'or»). Blackwell Scientific, 1997. ISBN: 0-9678550-9-8. DOI: doi: 10.1351 / livre d'or. URL: http://goldbook.iupac.org/ .

Analogues de sensibilité et de spécificité pour des résultats continus

En revanche, si la nature sous-jacente du problème est une classification, vous pouvez néanmoins vous retrouver à mieux le décrire par une régression:

  • la régression décrit un degré d'appartenance aux classes (comme dans les ensembles flous).
  • les modèles de régression (postérieur) probabilité de beloning aux classes (comme dans la régression logistique )
  • vos cas peuvent être décrits comme des mélanges des classes pures (très proche de la régression "normale", l'exemple de contamination ci-dessus)

Dans ces cas, il est logique d'étendre les concepts de sensibilité et de spécificité aux "classificateurs de résultats continus". L'idée de base est de pondérer chaque cas en fonction de son degré d'appartenance à la classe en question. Pour la sensibilité et la spécificité qui se réfèrent à l'étiquette de référence, pour les valeurs prédictives des appartenances à la classe prédites. Il s'avère que cela conduit à un lien très étroit avec les mesures de performance de type régression.

Nous l'avons récemment décrit dans C. Beleites, R. Salzer et V. Sergo:
Validation of Soft Classification Models Using Partial Class Memberships: An Extended Concept of Sensitivity & Co. appliqué à Grading of Astrocytoma Tissues
Chemom. Intell. Laboratoire. Syst., 122 (2013), 12 - 22.

Le lien pointe vers la page d'accueil du paquet R mettant en œuvre les mesures de performance proposées.

Encore une fois, l'exemple de la pression artérielle à mon humble avis n'est pas adéquatement décrit comme un problème de classification. Cependant, vous voudrez peut-être toujours lire le document - je pense que la formulation des valeurs de référence indiquera clairement que la pression artérielle n'est pas décrite de manière sensée d'une manière appropriée pour la classification.

(Si vous formulez un degré continu d '«hypertension artérielle» qui serait lui-même un modèle et différent du problème que vous décrivez.)


Je n'ai eu qu'un rapide coup d'œil à l'article que vous avez lié, mais si j'ai bien compris, les auteurs utilisent des seuils (dichotomiser) pour les deux stratégies de modélisation: pour la prédiction continue est davantage traitée: un intervalle de prédiction est calculé et comparé à un certain seuil. Au final, ils ont une prédiction dichotomique et génèrent le ROC en variant la spécification de l'intervalle.
Comme vous spécifiez que vous voulez éviter cela, le document ne semble pas trop pertinent.

cbeleites mécontents de SX
la source
On dirait que les méthodes de cet article sont très problématiques. La question d'origine n'a pas reçu de réponse car la question implique l'utilisation d'une méthodologie douteuse.
Frank Harrell
@FrankHarrell: oui, au moins la dénomination de la méthode dans l'article est trompeuse car la prédiction finale n'est pas continue. Mais j'ai compris que la mention du document montrait que le PO avait examiné la littérature et pensais que le document pouvait aider - ce qui n'est pas le cas.
cbeleites mécontents de SX
2

Essayer de le faire avec des variables continues exposera les graves problèmes avec les mesures d'ordre temporel en arrière même dans le cas binaire (c'est-à-dire, prédire X à partir de Y en général).

Frank Harrell
la source
Il ne doit pas nécessairement s'agir de mesures d'ordre temporel inverses. Je cherche juste un analogue de sensibilité et de spécificité dans le cas où le résultat ou la variable dépendante est continu.
itpetersen
L'analogue devrait être en arrière, à savoir, faire participer la distribution de donnée . Sinon, ce n'est pas analogue. XY
Frank Harrell
2
Tu as raison; vous avez indiqué un objectif très raisonnable qui est dans le bon ordre de temps. L'analogue de la sensibilité serait de prédire l'exposition prénatale à la testostérone à partir du degré futur d'agression. Pour répondre à votre question, j'utiliserais une mesure généralisée, une zone ROC généralisée (c'est-à-dire une corrélation de rang Somers entre prédite et observée) et l'histogramme du degré d'agression prédit - plus la variété est grande, plus les prédictions sont discriminantes . R2Dxy
Frank Harrell
2
C'est la raison de généraliser dans ce que j'ai écrit. Dxy est proportionnelle à la zone ROC généralisée qui se réduit à la zone ROC ordinaire si Yest binaire. C'est un malheureux accident de la nature que la probabilité de concordance puisse être dérivée de la sensibilité et de la spécificité. Il suffit de penser à la probabilité de concordance plus générale (et non rétrospective) entreX et Y (c-indice; est égal à la zone ROC en binaireYCas). Probabilité de concordance (facilement décrite pour uneY) ou la zone ROC peut être utilisée sans créer de courbe ROC. Pas besoin de prédire le passé du futur.
Frank Harrell
2
Mes packages R Hmiscet rmsgèrent cela. En Hmiscvoir la rcorr.censfonction.
Frank Harrell
0

Prise de manière lâche, la sensibilité signifie la capacité de répondre à quelque chose s'il est présent, et la spécificité signifie la capacité de supprimer la réponse lorsqu'elle est absente. Pour les variables continues, la sensibilité correspond à la pente de la régression des mesures obtenues sur les vraies valeurs de la variable mesurée, et la spécificité correspond à l'erreur type de mesure (c'est-à-dire l'écart type des mesures obtenues lorsque la quantité mesurée est ne varie pas).

EDIT, répondant aux commentaires de Frank Harrell et des cbeleites. J'essayais de donner des analogues conceptuels de sensibilité et de spécificité. Pour les variables continues, l'idée de base de la sensibilité est que si deux objets (ou le même objet à des moments différents ou dans des conditions différentes, etc.) diffèrent sur la variable que nous essayons de mesurer, alors nos mesures obtenues devraient également différer, avec un vrai plus grand différences conduisant à de plus grandes différences mesurées.

La régression d'une variable, disons , sur tout autre, disons , est tout simplement la valeur conditionnelle attendue, , traité en fonction de . La sensibilité de à est la pente de cette fonction - c'est-à-dire sa dérivée par rapport à - évaluée à toutes les valeurs de présentent un intérêt, et éventuellement moyennée avec des poids qui reflètent l'importance relative ou la fréquence d'occurrence de différents ValeursYXEY|XXYXXXX

L'idée de base de la spécificité est l'inverse de la sensibilité: si a une spécificité élevée et qu'il n'y a pas de vraies différences sur alors toutes nos valeurs mesurées devraient être les mêmes, quelles que soient les différences entre les objets sur des variables autres que ; ne devrait pas répondre à ces différences. Lorsque est constant, une variabilité plus élevée entre les valeurs implique une spécificité plus faible. L'écart type conditionnel - c'est-à-dire le sd de , à nouveau traité en fonction deYXYXYXYY|XX- est une mesure inverse de la spécificité. Le rapport de la pente conditionnelle sur le sd conditionnel est un rapport signal / bruit, et son carré est appelé en psychométrie la fonction d'information.

Ray Koopman
la source
Cela ne semble pas tout à fait correct. La spécificité n'implique pas de variances et de sens. et spec. ne s'applique qu'aux quantités binaires.
Frank Harrell
@Ray: la signification / définition des deux termes de régression (étalonnage chimique) est si différente de leur signification dans la classification que cela devrait à mon humble avis être davantage souligné. Je n'ai cependant jamais entendu parler de votre définition de la spécificité. Pouvez-vous donner une référence?
cbeleites mécontents de SX