AUC signifie la zone sous la courbe et fait généralement référence à la zone sous la courbe des caractéristiques de l'opérateur du récepteur (ROC).
Cherché haut et bas et n'ont pas été en mesure de savoir ce que AUC, en ce qui concerne la prédiction, signifie ou
Je suis intéressé par le calcul de l'aire sous la courbe (AUC), ou la statistique C, à la main pour un modèle de régression logistique binaire. Par exemple, dans le jeu de données de validation, j'ai la valeur vraie pour la variable dépendante, rétention (1 = retenue; 0 = non conservée), ainsi...
Le critère d'information d'Akaike (AIC) et la statistique c (aire sous la courbe ROC) sont deux mesures de l'ajustement du modèle pour la régression logistique. J'ai du mal à expliquer ce qui se passe lorsque les résultats des deux mesures ne sont pas cohérents. Je suppose qu'ils mesurent des...
J'ai deux classificateurs A: réseau bayésien naïf B: réseau bayésien d'arbre (connecté individuellement) En termes de précision et d'autres mesures, A fonctionne comparativement moins bien que B. Cependant, lorsque j'utilise les packages R ROCR et AUC pour effectuer une analyse ROC, il s'avère que...
La précision moyenne (AP) est-elle la zone sous la courbe de rappel de précision (ASC de la courbe PR)? MODIFIER: voici quelques commentaires sur la différence entre PR AUC et AP. L'AUC est obtenue par interpolation trapézoïdale de la précision. Une métrique alternative et généralement presque...
Dans la discussion: comment générer une courbe roc pour la classification binaire , je pense que la confusion était qu'un "classificateur binaire" (qui est tout classificateur qui sépare 2 classes) était pour Yang ce qu'on appelle un "classificateur discret" (qui produit sorties discrètes 0/1 comme...
L'image ci-dessous montre une courbe continue des taux de faux positifs par rapport aux taux véritablement positifs: Cependant, ce que je ne comprends pas immédiatement, c'est comment ces taux sont calculés. Si une méthode est appliquée à un ensemble de données, elle a un certain taux de FP et un...
Préambule Ceci est un long post. Si vous relisez ceci, veuillez noter que j'ai révisé la partie question, bien que le matériel de base reste le même. De plus, je pense avoir conçu une solution au problème. Cette solution apparaît au bas de l'article. Merci à CliffAB d'avoir souligné que ma solution...
J'utilise un classificateur qui renvoie des probabilités. Pour calculer l'ASC, j'utilise pROC R-package. Les probabilités de sortie du classificateur sont: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsmontre la...
J'ai construit une courbe ROC pour un système de diagnostic. L'aire sous la courbe a ensuite été estimée de manière non paramétrique à AUC = 0,89. Lorsque j'ai essayé de calculer la précision au réglage de seuil optimal (le point le plus proche du point (0, 1)), j'ai obtenu la précision du système...
Les valeurs AUC-ROC peuvent-elles être comprises entre 0 et 0,5? Le modèle produit-il des valeurs comprises entre 0 et
J'ai quelques doutes quant à la mesure de performance à utiliser, l'aire sous la courbe ROC (TPR en fonction de FPR) ou l'aire sous la courbe de précision-rappel (précision en fonction du rappel). Mes données sont déséquilibrées, c'est-à-dire que le nombre d'instances négatives est beaucoup plus...
J'expérimente l'algorithme de la machine de renforcement de gradient via le caretpackage en R. À l'aide d'un petit ensemble de données d'admission à l'université, j'ai exécuté le code suivant: library(caret) ### Load admissions dataset. ### mydata <-
J'ai formé deux modèles (classificateurs binaires utilisant h2o AutoML) et je veux en sélectionner un à utiliser. J'ai les résultats suivants: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685...
J'essaie d'utiliser la fonction « densité » dans R pour faire des estimations de densité du noyau. J'ai de la difficulté à interpréter les résultats et à comparer divers ensembles de données car il semble que l'aire sous la courbe ne soit pas nécessairement 1. Pour toute fonction de densité de...
F1-score est la moyenne harmonique de précision et de rappel. L'axe des y du rappel est le véritable taux positif (qui est également le rappel). Donc, parfois, les classificateurs peuvent avoir un faible rappel mais une ASC très élevée, qu'est-ce que cela signifie? Quelles sont les différences...
Pourquoi l'aire sous la courbe ROC a-t-elle une probabilité qu'un classificateur classe une instance "positive" choisie au hasard (à partir des prédictions récupérées) plus élevée qu'une instance "positive" choisie au hasard (à partir de la classe positive d'origine)? Comment prouver...
La compétition de Kaggle La prévision de conducteur sûr de Porto Seguro utilise le score de Gini normalisé comme métrique d'évaluation, ce qui m'a rendu curieux des raisons de ce choix. Quels sont les avantages de l'utilisation du score de Gini normalisé au lieu des mesures les plus courantes,...
J'ai un ensemble de tests de 100 cas et deux classificateurs. J'ai généré des prédictions et calculé l'ASC ROC, la sensibilité et la spécificité pour les deux classificateurs. Question 1: Comment puis-je calculer la valeur de p pour vérifier si l'un est significativement meilleur que l'autre en ce...
Dans l'apprentissage automatique, nous pouvons utiliser l' aire sous la courbe ROC (souvent abrégée AUC ou AUROC) pour résumer la capacité d'un système à discriminer entre deux catégories. Dans la théorie de la détection du signal, le (indice de sensibilité) est souvent utilisé dans un but...