J'ai eu un entretien d'embauche pour un poste en science des données. Au cours de l'entretien, on m'a demandé ce que je dois faire pour m'assurer que le modèle n'est pas trop adapté. Ma première réponse a été d'utiliser la validation croisée pour évaluer les performances du modèle. Cependant,...
Dans les études de psychologie, j'ai appris que nous devrions utiliser la méthode de Bonferroni pour ajuster le niveau de signification lors du test de plusieurs hypothèses sur un seul ensemble de données. Actuellement, je travaille avec des méthodes d'apprentissage automatique telles que les...
J'ai appris qu'un sur-ajustement peut être détecté en traçant l'erreur d'apprentissage et l'erreur de test en fonction des époques. Comme dans: J'ai lu ce blog où ils disent que le réseau neuronal, net5 est trop adapté et ils fournissent ce chiffre: Ce qui est étrange pour moi, car l'erreur de...
En faisant des recherches sur l'algorithme xgboost, j'ai parcouru la documentation . Dans cette approche, les arbres sont régularisés en utilisant la définition de la complexité Ω ( f) = γT+12λ∑j = 1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2 où γγ\gamma et...
N'entraîne-t-il pas un sur-ajustement? Mes résultats seraient-ils plus fiables si j'ajoutais une procédure de jack-knife ou de bootstrap dans le cadre de
Mon projet actuel peut m'obliger à construire un modèle pour prédire le comportement d'un certain groupe de personnes. l'ensemble de données de formation ne contient que 6 variables (id est uniquement à des fins d'identification): id, age, income, gender, job category, monthly spend dans laquelle...
J'ai un problème de régression avec 5-6k variables. Je divise mes données en 3 ensembles qui ne se chevauchent pas: formation, validation et tests. Je m'entraîne en utilisant uniquement l'ensemble d'entraînement et je génère de nombreux modèles de régression linéaire différents en choisissant un...
Serait-il sensé d'équiper un modèle à dessein? Disons que j'ai un cas d'utilisation où je sais que les données ne varieront pas beaucoup en ce qui concerne les données de formation. Je pense ici à la prévision du trafic, où l'état du trafic suit un ensemble fixe de modèles trajet du matin activité...
Je me demande la finesse optimale de la grille et quelle est la relation entre la finesse de la grille et le sur-ajustement dans les méthodes de régularisation telles que LASSO, régression de crête ou filet élastique. Supposons que je veuille adapter un modèle de régression utilisant LASSO à un...
J'utilise actuellement l'arrêt précoce de mon travail pour éviter un ajustement excessif. Plus précisément, ceux pris sous forme d' arrêt anticipé, mais quand? . Je veux maintenant comparer avec d'autres algorithmes de classification où il semble que la validation croisée 10 fois soit largement...