J'ai du mal à trouver un moyen de calculer la valeur de p pour la zone sous une caractéristique d'opérateur de récepteur (ROC). J'ai une variable continue et un résultat de test de diagnostic. Je veux voir si AUROC est statistiquement significatif. J'ai trouvé de nombreux packages traitant des...
J'utilise actuellement un classificateur binaire. Lorsque je trace la courbe ROC, j'obtiens une bonne portance au début, puis elle change de direction et traverse la diagonale, puis bien sûr en remontant, faisant de la courbe une forme inclinée en S. Quelle peut être une interprétation /...
J'ai 100 000 observations (9 variables indicatrices factices) avec 1000 positifs. La régression logistique devrait bien fonctionner dans ce cas, mais la probabilité de coupure me laisse perplexe. Dans la littérature courante, nous choisissons un seuil de 50% pour prédire les 1 et les 0. Je ne peux...
Je travaille avec des données déséquilibrées, où il y a environ 40 cas class = 0 pour chaque classe = 1. Je peux raisonnablement faire la distinction entre les classes en utilisant des fonctionnalités individuelles, et la formation d'un classificateur naïf Bayes et SVM sur 6 fonctionnalités et des...
Je voudrais comparer 2 classificateurs différents pour un problème de classification de texte multiclasse qui utilise de grands ensembles de données d'apprentissage. Je doute que je devrais utiliser des courbes ROC ou des courbes d'apprentissage pour comparer les 2 classificateurs. D'une part, les...
J'ai créé quelques modèles de régression de Cox et j'aimerais voir à quel point ces modèles fonctionnent et j'ai pensé qu'une courbe ROC ou une statistique c pourrait être utile de la même manière que ces articles: JN Armitage et JH van der Meulen, «Identification de la comorbidité chez les...
Surtout du côté informatique de la littérature sur l'apprentissage automatique, l'ASC (aire sous la courbe caractéristique de l'opérateur du récepteur) est un critère populaire pour évaluer les classificateurs. Quelles sont les justifications de l'utilisation de l'AUC? Par exemple, existe-t-il une...
Lors d'une validation croisée 5 fois (par exemple), il est typique de calculer une courbe ROC distincte pour chacun des 5 plis et souvent une courbe ROC moyenne avec std. dev. montré comme épaisseur de courbe. Cependant, pour la validation croisée LOO, où il n'y a qu'un seul point de données de...
J'ai lu cette légende dans un journal et je n'ai jamais vu AUC décrit de cette façon ailleurs. Est-ce vrai? Existe-t-il une preuve ou un moyen simple de voir cela? La figure 2 montre la précision de prédiction des variables dichotomiques exprimées en termes d'aire sous la courbe caractéristique de...
J'ai un GLMM du formulaire: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Lorsque j'utilise drop1(model, test="Chi"), j'obtiens des résultats différents de ceux que j'utilise à Anova(model, type="III")partir du package de voiture ou...
Je voudrais calculer d prime pour une tâche de mémoire qui implique la détection d'anciens et de nouveaux éléments. Le problème que j'ai est que certains des sujets ont un taux de succès de 1 et / ou un taux de fausses alertes de 0, ce qui rend les probabilités 100% et 0%, respectivement. La...
Je veux trouver le point de coupure pour le genre basé sur une mesure anthropologique. Je peux dessiner les courbes et je sais que si la sensibilité et la spécificité sont toutes deux également importantes, le point le plus proche du coin supérieur gauche du cadre (ou si la courbe est négative, le...
Considérons une matrice d'entrée et une sortie binaire .yXXXyyy Une façon courante de mesurer les performances d'un classificateur consiste à utiliser des courbes ROC. Dans un tracé ROC, la diagonale est le résultat qui serait obtenu à partir d'un classificateur aléatoire. En cas de sortie...
Je compare actuellement trois méthodes et j'ai la précision, auROC et auPR comme métriques. Et j'ai les résultats suivants: Méthode A - acc: 0,75, auROC: 0,75, auPR: 0,45 Méthode B - acc: 0,65, auROC: 0,55, auPR: 0,40 Méthode C - acc: 0,55, auROC: 0,70, auPR: 0,65 J'ai une bonne compréhension de...
J'utilise 2 types de régression logistique - l'un est le type simple, pour la classification binaire, et l'autre est la régression logistique ordinale. Pour calculer la précision de la première, j'ai utilisé la validation croisée, où j'ai calculé l'AUC pour chaque pli et ensuite calculé l'ASC...
Donc, j'ai 16 essais dans lesquels j'essaie d'authentifier une personne à partir d'un trait biométrique en utilisant Hamming Distance. Mon seuil est fixé à 3,5. Mes données sont ci-dessous et seul l'essai 1 est un vrai positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47...
J'ai des données étiquetées à 2 classes sur lesquelles j'effectue une classification à l'aide de plusieurs classificateurs. Et les ensembles de données sont bien équilibrés. Lors de l'évaluation des performances des classificateurs, je dois prendre en compte la précision du classificateur pour...
J'utilise l'approche bootstrap pour la validation interne d'un modèle multivarié construit avec une régression logistique standard OU un filet élastique. La procédure que j'utilise est la suivante: 1) construire un modèle en utilisant l'ensemble de données, obtenir des valeurs prédites et calculer...
Comment puis-je calculer la sensibilité et la spécificité (ou des mesures analogues) d'un test de diagnostic continu pour prédire un résultat continu (par exemple, la pression artérielle) sans dichotomiser le résultat? Des idées? Il semble que les chercheurs l'ont fait en utilisant la modélisation...
Bonjour chers collègues Je veux générer n scores aléatoires (avec une étiquette de classe) comme s'ils avaient été produits par un modèle de classification binaire. En détail, les propriétés suivantes sont requises: chaque score est compris entre 0 et 1 chaque score est associé à une étiquette...