Sur l'évaluation des modèles, qu'ils soient dans ou hors de l'échantillon.
C'est une question générale qui a été posée indirectement à plusieurs reprises ici, mais il manque une seule réponse faisant autorité. Il serait bon d'avoir une réponse détaillée à cette question pour la référence. L’exactitude , la proportion de classifications correctes parmi toutes les...
J'ai déjà posé cette question à StackOverflow, mais il semble que cela conviendrait mieux ici, étant donné que cela n'a pas donné de réponse à SO. C'est un peu à la croisée des statistiques et de la programmation. J'ai besoin d'écrire du code pour faire PCA (analyse en composantes principales)....
J'ai remarqué qu'il existe quelques implémentations de forêt aléatoire telles que ALGLIB, Waffles et certains packages R tels que randomForest. Quelqu'un peut-il me dire si ces bibliothèques sont hautement optimisées? Sont-ils fondamentalement équivalents aux forêts aléatoires décrites dans Les...
L’un des problèmes les plus importants de l’analyse par grappes est qu’il peut arriver que nous devions tirer des conclusions différentes lorsque nous nous basons sur différentes méthodes de classification utilisées (y compris différentes méthodes de couplage dans une classification hiérarchique)....
Récemment, je suis tombé sur un article qui propose d'utiliser un classificateur k-NN sur un ensemble de données spécifique. Les auteurs ont utilisé tous les échantillons de données disponibles pour effectuer une validation croisée k-fold pour différentes valeurs k et rapporter les résultats de la...
Comme nous le savons tous, il existe 2 méthodes pour évaluer le modèle de régression logistique et elles testent des choses très différentes Puissance prédictive: Obtenez une statistique qui mesure dans quelle mesure vous pouvez prédire la variable dépendante en fonction des variables...
Je fais face à un problème de détection de fraude (de type notation de crédit). En tant que tel, il existe une relation très déséquilibrée entre les observations frauduleuses et non frauduleuses. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html fournit un excellent aperçu...
Les valeurs AUC-ROC peuvent-elles être comprises entre 0 et 0,5? Le modèle produit-il des valeurs comprises entre 0 et
La compétition de Kaggle La prévision de conducteur sûr de Porto Seguro utilise le score de Gini normalisé comme métrique d'évaluation, ce qui m'a rendu curieux des raisons de ce choix. Quels sont les avantages de l'utilisation du score de Gini normalisé au lieu des mesures les plus courantes,...
Une mesure courante utilisée pour comparer deux modèles de classification ou plus consiste à utiliser l'aire sous la courbe ROC (AUC) comme moyen d'évaluer indirectement leur performance. Dans ce cas, un modèle avec une AUC plus grande est généralement interprété comme plus performant qu'un modèle...
Les coefficients de corrélation phi et Matthews sont-ils le même concept? Comment sont-ils liés ou équivalents au coefficient de corrélation de Pearson pour deux variables binaires? Je suppose que les valeurs binaires sont 0 et 1. La corrélation de Pearson entre deux variables aléatoires de...
Je voulais mieux comprendre le test exact du pêcheur, j'ai donc imaginé l'exemple de jouet suivant, où f et m correspond à l'homme et à la femme, et n et y correspond à la "consommation de soda" comme ceci: > soda_gender f m n 0 5 y 5 0 Évidemment, c'est une simplification drastique, mais je ne...
Dans mon exposition en classe à l'exploration de données, la méthode de rétention a été introduite comme moyen d'évaluer les performances du modèle. Cependant, lorsque j'ai suivi mon premier cours sur les modèles linéaires, cela n'a pas été introduit comme moyen de validation ou d'évaluation des...
Je lisais sur les métriques de régression dans le manuel python scikit-learn et même si chacun d'eux a sa propre formule, je ne peux pas dire intuitivement quelle est la différence entre et le score de variance et donc quand utiliser l'un ou l'autre pour évaluer mes
J'entends souvent parler de l'évaluation des performances d'un modèle de classification en présentant l'ensemble de test et en entraînant un modèle sur l'ensemble de formation. Puis création de 2 vecteurs, un pour les valeurs prédites et un pour les vraies valeurs. Évidemment, faire une comparaison...
Cela pourrait être une question fondamentale: quelle est la différence entre le biais et le sous-ajustement? Et, par analogie, quelle est la différence entre la variance et le sur-ajustement? Les termes de chaque paire signifient-ils la même chose? Sinon, quelle est la
Je travaille sur un ensemble de données. Après avoir utilisé certaines techniques d'identification de modèle, je suis sorti avec un modèle ARIMA (0,2,1). J'ai utilisé la detectIOfonction dans le package TSAen R pour détecter une valeur aberrante innovante (IO) à la 48e observation de mon ensemble...
Je souhaite tester certaines de mes idées qui me semblent meilleures que tout ce que j'ai vu. Je peux me tromper mais je voudrais tester mes idées et vaincre mes doutes par des observations plus certaines. Ce que j'ai pensé faire, c'est ce qui suit: Définissez analytiquement un ensemble de...
Il s'agit du score F beta: Fβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallFβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} L'article de Wikipedia indique que...
Je travaille sur la prédiction de séries chronologiques. J'ai deux ensembles de données et . J'ai trois modèles de prédiction: . Tous ces modèles sont entraînés à l'aide d'échantillons dans l'ensemble de données , et leurs performances sont mesurées à l'aide des échantillons dans l'ensemble de...