Calculer la courbe ROC pour les données

Donc, j'ai 16 essais dans lesquels j'essaie d'authentifier une personne à partir d'un trait biométrique en utilisant Hamming Distance. Mon seuil est fixé à 3,5. Mes données sont ci-dessous et seul l'essai 1 est un vrai positif:

Trial   Hamming Distance
1   0.34
2   0.37
3   0.34
4   0.29
5   0.55
6   0.47
7   0.47
8   0.32
9   0.39
10  0.45
11  0.42
12  0.37
13  0.66
14  0.39
15  0.44
16  0.39

Mon point de confusion est que je ne suis vraiment pas sûr de savoir comment faire une courbe ROC (FPR vs TPR OU FAR vs FRR) à partir de ces données. Peu importe lequel, mais je suis vraiment confus quant à la façon de le calculer. Toute aide serait appréciée.

mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction rohanbk
la source

Ici stats.stackexchange.com/a/105577/49130 vous pouvez trouver des informations supplémentaires sur la façon de dessiner une courbe ROC

Alexey Grigorev

Réponses:

Je suggère ROC Graphs: Notes and Practical Considerations for Reasearchers par Tom Fawcett, vraiment une excellente lecture. Pour autant que je comprends votre question, vous trouverez tout ce dont vous avez besoin dans ce document.

Edit: Inspiré par Adam, je veux également recommander mon R-package préféré pour cette tâche: ROCR .

steffen
la source

Connaissez-vous de bons packages Matlab qui peuvent faire le travail?

rohanbk

@rohanbk Désolé, non. Cela fait longtemps que je n'ai pas utilisé matlab.

steffen

Le lien @steffen est rompu.

Alleo

@Alleo merci pour la notification, le lien pointe maintenant vers citeseer (où le pdf est disponible) ... cela devrait durer plus longtemps.

steffen

Pourquoi voulez-vous faire une courbe ROC? Voulez-vous représenter graphiquement la courbe de vos variables dépendantes, ou cherchez-vous à l'utiliser comme statistique de test afin de mesurer la précision de vos prédictions de probabilité (auquel cas vous recherchez l'AUC [zone sous la courbe] ).

Si vous êtes familier avec R, le package de vérification dans R a deux fonctions que vous trouverez utiles: roc.plot (), qui vous permettra de tracer votre courbe ROC, et roc.area () qui vous permettra de calculer l'AUC.

Adam
la source

Connaissez-vous de bons packages Matlab qui peuvent faire le travail?

rohanbk