Une règle de notation appropriée est une règle qui est maximisée par un `` vrai '' modèle et qui ne permet pas de `` couvrir '' ou de jouer le système (rapportant délibérément des résultats différents, comme le croit réellement le modèle pour améliorer le score). Le score Brier est correct, la...
Les valeurs AUC-ROC peuvent-elles être comprises entre 0 et 0,5? Le modèle produit-il des valeurs comprises entre 0 et
Quels sont les avantages des courbes ROC? Par exemple, je classe certaines images, ce qui est un problème de classification binaire. J'ai extrait environ 500 fonctionnalités et appliqué un algorithme de sélection de fonctionnalités pour sélectionner un ensemble de fonctionnalités, puis j'ai...
Je prévois d'utiliser une validation croisée stratifiée répétée (10 fois) sur environ 10 000 cas en utilisant un algorithme d'apprentissage automatique. Chaque fois, la répétition sera effectuée avec différentes graines aléatoires. Dans ce processus, je crée 10 instances d'estimations de...
J'étudie un cours d'apprentissage automatique et les diapositives de la conférence contiennent des informations que je trouve en contradiction avec le livre recommandé. Le problème est le suivant: il existe trois classificateurs: classificateur A offrant de meilleures performances dans la plage...
Supposons que j'ai construit un modèle de prédiction pour l'occurrence d'une maladie particulière dans un jeu de données (le jeu de données de construction du modèle) et que je souhaite maintenant vérifier l'efficacité du modèle dans un nouveau jeu de données (le jeu de données de validation). Pour...
J'expérimente l'algorithme de la machine de renforcement de gradient via le caretpackage en R. À l'aide d'un petit ensemble de données d'admission à l'université, j'ai exécuté le code suivant: library(caret) ### Load admissions dataset. ### mydata <-
J'essaie de comprendre comment calculer le point de coupure optimal pour une courbe ROC (la valeur à laquelle la sensibilité et la spécificité sont maximisées). J'utilise l'ensemble aSAHde données du package pROC. La outcomevariable pourrait s'expliquer par deux variables indépendantes: s100bet...
J'ai un ensemble de tests de 100 cas et deux classificateurs. J'ai généré des prédictions et calculé l'ASC ROC, la sensibilité et la spécificité pour les deux classificateurs. Question 1: Comment puis-je calculer la valeur de p pour vérifier si l'un est significativement meilleur que l'autre en ce...
J'ai appliqué une régression logistique à mes données sur SAS et voici la courbe ROC et le tableau de classification. Je suis à l'aise avec les chiffres du tableau de classification, mais je ne sais pas exactement ce que la courbe roc et la zone en dessous montrent. Toute explication serait...
Pourquoi l'aire sous la courbe ROC a-t-elle une probabilité qu'un classificateur classe une instance "positive" choisie au hasard (à partir des prédictions récupérées) plus élevée qu'une instance "positive" choisie au hasard (à partir de la classe positive d'origine)? Comment prouver...
Habituellement, dans la régression logistique, nous ajustons un modèle et obtenons des prédictions sur l'ensemble d'entraînement. Nous validons ensuite ces prévisions d'entraînement (quelque chose comme ici ) et décidons de la valeur seuil optimale en fonction de quelque chose comme la courbe ROC....
nous avons utilisé pour créer une courbe GINI en utilisant l'ascenseur créé avec l'aide du pourcentage de bons et de mauvais pour la modélisation des tableaux de bord. Mais ce que j'ai étudié, c'est que la courbe ROC est créée en utilisant une matrice de confusion avec une spécificité (1-vrai...
Dans l'apprentissage automatique, nous pouvons utiliser l' aire sous la courbe ROC (souvent abrégée AUC ou AUROC) pour résumer la capacité d'un système à discriminer entre deux catégories. Dans la théorie de la détection du signal, le (indice de sensibilité) est souvent utilisé dans un but...
J'ai obtenu un modèle de régression logistique (via train) pour une réponse binaire, et j'ai obtenu la matrice de confusion logistique via confusionMatrixin caret. Cela me donne la matrice de confusion du modèle logistique, même si je ne sais pas quel seuil est utilisé pour l'obtenir. Comment...
Normalement, nous ne pouvons pas tracer une courbe ROC pour les classificateurs discrets comme les arbres de décision. Ai-je raison? Existe-t-il un moyen de tracer une courbe ROC pour
Je rencontre le coefficient de dés pour la similitude du volume ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) et la précision ( https://en.wikipedia.org/wiki/Accuracy_and_precision ). Il me semble que ces deux mesures sont identiques. Des
Une mesure courante utilisée pour comparer deux modèles de classification ou plus consiste à utiliser l'aire sous la courbe ROC (AUC) comme moyen d'évaluer indirectement leur performance. Dans ce cas, un modèle avec une AUC plus grande est généralement interprété comme plus performant qu'un modèle...
J'ai travaillé sur un modèle logistique et j'ai des difficultés à évaluer les résultats. Mon modèle est un logit binomial. Mes variables explicatives sont: une variable catégorielle à 15 niveaux, une variable dichotomique et 2 variables continues. Mon N est grand> 8000. J'essaie de modéliser la...
J'utilise actuellement un classificateur binaire. Lorsque je trace la courbe ROC, j'obtiens une bonne portance au début, puis elle change de direction et traverse la diagonale, puis bien sûr en remontant, faisant de la courbe une forme inclinée en S. Quelle peut être une interprétation /...