La question d'hier Déterminer l'exactitude du modèle qui estime la probabilité d'un événement m'a rendu curieux au sujet de la notation des probabilités. Le score de Brier est une mesure d'erreur quadratique moyenne. Est-ce que l'analogue signifie une mesure absolue des performances d'erreur...
J'essaie de comprendre la validation croisée pour la régression logistique ordinale. Le but du jeu est de valider le modèle utilisé dans une analyse ... Je construis d'abord un ensemble de données sur les jouets: set.seed(1) N <- 10000 # predictors x1 <- runif(N) x2 <- runif(N) x3 <-...
J'ai configuré une recherche de grille pour un tas de paramètres. J'essaie de trouver les meilleurs paramètres pour un réseau neuronal Keras qui effectue une classification binaire. La sortie est soit un 1 soit un 0. Il y a environ 200 fonctionnalités. Quand j'ai fait une recherche dans la grille,...
Remarque: cette question est une rediffusion, car ma question précédente a dû être supprimée pour des raisons juridiques. En comparant PROC MIXED de SAS avec la fonction lmedu nlmepackage dans R, je suis tombé sur des différences assez confuses. Plus précisément, les degrés de liberté dans les...
Actuellement, j'essaie d'analyser un ensemble de données de document texte qui n'a aucune vérité fondamentale. On m'a dit que vous pouvez utiliser la validation croisée k-fold pour comparer différentes méthodes de clustering. Cependant, les exemples que j'ai vus dans le passé utilisent une vérité...
Pour ma recherche actuelle, j'utilise la méthode Lasso via le package glmnet dans R sur une variable dépendante binomiale. Dans glmnet, le lambda optimal est trouvé par validation croisée et les modèles résultants peuvent être comparés à diverses mesures, par exemple erreur de classification...
Quelles sont les façons de choisir quel noyau entraînerait une bonne séparation des données dans la sortie finale des données par le noyau PCA (analyse des composants principaux), et quelles sont les façons d'optimiser les paramètres du noyau? Les termes de Layman, si possible, seraient grandement...
La question: Bootstrapping est supérieur au jackknifing; cependant, je me demande s'il existe des cas où le jackknifing est la seule ou au moins une option viable pour caractériser l'incertitude à partir des estimations des paramètres. De plus, dans des situations pratiques, dans quelle mesure le...
Dans mon exposition en classe à l'exploration de données, la méthode de rétention a été introduite comme moyen d'évaluer les performances du modèle. Cependant, lorsque j'ai suivi mon premier cours sur les modèles linéaires, cela n'a pas été introduit comme moyen de validation ou d'évaluation des...
On m'a posé une question telle que "Avez-vous effectué un contrôle de cohérence dans votre travail quotidien?" lors d'un entretien téléphonique pour un poste de biostatisticien. Je ne sais pas quoi répondre. Toute information est
Je suis un étudiant en physique qui étudie l'apprentissage automatique / la science des données, donc je ne veux pas que cette question déclenche des conflits :) Cependant, une grande partie de tout programme de premier cycle en physique consiste à faire des laboratoires / expériences, ce qui...
En jouant avec le Boston Housing Dataset et RandomForestRegressor(avec les paramètres par défaut) dans scikit-learn, j'ai remarqué quelque chose d'étrange: le score moyen de validation croisée a diminué lorsque j'ai augmenté le nombre de plis au-delà de 10. Ma stratégie de validation croisée était...
J'entraîne un processus gaussien avec un noyau ARD avec beaucoup de paramètres en maximisant la lisibilité marginale des données, au lieu de la validation croisée. Je soupçonne que c'est trop adapté. Comment puis-je tester cette suspicion dans un contexte
J'ai un ensemble de données avec 26 fonctionnalités et 31000 lignes. C'est l'ensemble de données de 38 sujets. C'est pour un système biométrique. Je veux donc pouvoir identifier les sujets. Afin d'avoir un ensemble de tests, je sais que je dois supprimer certaines valeurs. Alors, que vaut-il mieux...
Je voudrais évaluer plusieurs modèles différents qui fournissent des prédictions de comportement à un niveau mensuel. Les données sont équilibrées, et 100 000 et 12. Le résultat est d'assister à un concert au cours d'un mois donné, il est donc nul pour ~ 80% des gens au cours d'un mois, mais il y a...
En choisissant le paramètre de régularisation lambda dans Ridge ou Lasso, la méthode recommandée consiste à essayer différentes valeurs de lambda, à mesurer l'erreur dans l'ensemble de validation et enfin à choisir la valeur de lambda qui renvoie l'erreur la plus faible. Ce n'est pas pour moi si la...
J'ai effectué une classification en utilisant plusieurs classificateurs pour des données étiquetées à 2 classes, et j'ai utilisé une validation croisée 5 fois. Pour chaque pli, j'ai calculé tp, tn, fp et fn. Ensuite, j'ai calculé l'exactitude, la précision, le rappel et le score F pour chaque test....
Pour les non-statisticiens comme moi, il est très difficile de saisir l'idée de VImétrique (variation des informations) même après avoir lu l'article pertinent de Marina Melia " Comparing clusterings - An information based distance " (Journal of Multivariate Analysis, 2007). En fait, je ne connais...
Je travaille sur un problème de classification qui calcule une métrique de similitude entre deux images radiographiques d'entrée. Si les images sont de la même personne (étiquette de «droite»), une métrique plus élevée sera calculée; les images d'entrée de deux personnes différentes (étiquette de...
Le mgcvpackage pour Ra deux fonctions pour ajuster les interactions des produits tensoriels: te()et ti(). Je comprends la division de base du travail entre les deux (ajustement d'une interaction non linéaire vs décomposition de cette interaction en effets principaux et interaction). Ce que je ne...