Je viens de terminer la lecture de cette discussion. Ils soutiennent que PR AUC est meilleure que ROC AUC sur un ensemble de données déséquilibré. Par exemple, nous avons 10 échantillons dans l'ensemble de données de test. 9 échantillons sont positifs et 1 négatif. Nous avons un modèle terrible qui...
Il y a quelques jours, un de mes psychologues-chercheurs m'a parlé de sa méthode pour sélectionner des variables dans un modèle de régression linéaire. Je suppose que ce n'est pas bon, mais je dois demander à quelqu'un d'autre de m'en assurer. La méthode est: Examinez la matrice de corrélation...
Ceci est mon premier article sur StackExchange, mais je l'utilise comme ressource depuis un bon moment, je ferai de mon mieux pour utiliser le format approprié et apporter les modifications appropriées. C'est également une question en plusieurs parties. Je ne savais pas si je devais diviser la...
Si vous ajustez une fonction non linéaire à un ensemble de points (en supposant qu'il n'y a qu'une seule ordonnée pour chaque abscisse), le résultat peut être: une fonction très complexe avec de petits résidus une fonction très simple avec de gros résidus La validation croisée est couramment...
Je suis juste tombé sur "critère d'information Akaike", et j'ai remarqué cette grande quantité de littérature sur la sélection des modèles (aussi des choses comme BIC semblent exister). Pourquoi les méthodes modernes d'apprentissage automatique ne profitent-elles pas de ces critères de sélection...
Ceci est un long post, donc j'espère que vous pourrez me supporter, et veuillez me corriger là où je me trompe. Mon objectif est de produire une prévision quotidienne basée sur 3 ou 4 semaines de données historiques. Les données sont des données de 15 minutes de la charge locale d'une des lignes...
Bien que les résultats de l'ensemble de test privé ne puissent pas être utilisés pour affiner davantage le modèle, la sélection de modèle parmi un grand nombre de modèles n'est-elle pas effectuée sur la base des résultats de l'ensemble de test privé? Ne seriez-vous pas, grâce à ce seul processus, à...
Je ne suis pas trop doué en statistiques, donc je m'excuse s'il s'agit d'une question simpliste. J'ajuste une courbe à certaines données, et parfois mes données correspondent le mieux à une exponentielle négative sous la forme , et parfois l'ajustement est plus proche de a ∗ e ( - b ∗ x 2 ) + c ....
Existe-t-il des résultats analytiques ou des articles expérimentaux concernant le choix optimal du coefficient du terme de pénalité ℓ1ℓ1\ell_1 ? Par optimal , je veux dire un paramètre qui maximise la probabilité de sélectionner le meilleur modèle, ou qui minimise la perte attendue. Je pose la...
J'ai une expérience que je vais essayer de résumer ici. Imaginez que je lance trois pierres blanches devant vous et vous demande de juger de leur position. J'enregistre une variété de propriétés des pierres et votre réponse. Je le fais sur un certain nombre de sujets. Je génère deux modèles. L'un...
J'analyse un ensemble de données à l'aide d'un modèle à effets mixtes avec un effet fixe (condition) et deux effets aléatoires (participant en raison de la conception et de la paire du sujet). Le modèle a été généré avec le lme4package:
J'ai effectué un CV 5 fois pour sélectionner le K optimal pour KNN. Et il semble que plus le K est grand, plus l'erreur est petite ... Désolé je n'avais pas de légende, mais les différentes couleurs représentent différents essais. Il y en a 5 au total et il semble qu'il y ait peu de variation entre...
J'ai formé deux modèles (classificateurs binaires utilisant h2o AutoML) et je veux en sélectionner un à utiliser. J'ai les résultats suivants: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685...
Après avoir demandé des éclaircissements sur les coefficients du modèle linéaire ici, j'ai une question de suivi concernant les coefficients de niveaux de facteur non significatifs (valeur p élevée). Exemple: si mon modèle linéaire comprend un facteur à 10 niveaux et que seulement 3 de ces niveaux...
Je me demandais pourquoi les méthodes de sélection des modèles LASSO et LARS sont si populaires même si elles ne sont fondamentalement que des variations de la sélection pas à pas (et souffrent donc de la dépendance du chemin)? De même, pourquoi les méthodes GETS (General to Specific) pour la...
Comme motivé par le récent changement de la statistique de sélection de modèle par défaut dans l'ensemble de prévisions du R de AIC à AICc, je suis curieux de savoir si ce dernier est effectivement applicable où que ce soit le premier. J'ai une série de questions à ce sujet et voici la première. Je...
Je voulais juste vous demander quels sont, selon vous, les meilleurs livres disponibles sur le bootstrap. Par cela, je ne veux pas nécessairement dire celui écrit par ses développeurs. Pourriez-vous s'il vous plaît indiquer quel manuel est selon vous le meilleur pour le bootstrap qui couvre les...
J'ai quelques questions sur l'AIC et j'espère que vous pourrez m'aider. J'ai appliqué la sélection de modèle (en arrière ou en avant) en fonction de l'AIC sur mes données. Et certaines des variables sélectionnées se sont retrouvées avec des valeurs de p> 0,05. Je sais que les gens disent que...
En psychologie et dans d'autres domaines, une forme de régression par étapes est souvent employée et implique les éléments suivants: Examinez les prédicteurs restants (il n'y en a pas dans le modèle au début) et identifiez le prédicteur qui entraîne le plus grand changement du carré r; Si la valeur...
La procédure de sélection du modèle de Box-Jenkins dans l'analyse des séries chronologiques commence par examiner les fonctions d'autocorrélation et d'autocorrélation partielle de la série. Ces graphiques peuvent suggérer les et q appropriés dans un modèle ARMA ( p , q ) . La procédure se poursuit...