Mon collègue et moi ajustons une gamme de modèles d'effets mixtes linéaires et non linéaires dans R. On nous demande d'effectuer une validation croisée sur les modèles ajustés afin que l'on puisse vérifier que les effets observés sont relativement généralisables. C'est normalement une tâche...
J'utilise 2 types de régression logistique - l'un est le type simple, pour la classification binaire, et l'autre est la régression logistique ordinale. Pour calculer la précision de la première, j'ai utilisé la validation croisée, où j'ai calculé l'AUC pour chaque pli et ensuite calculé l'ASC...
Dans les moindres carrés ordinaires, en régressant un vecteur cible contre un ensemble de prédicteurs , la matrice de chapeau est calculée commeyyyXXX H= X(XtX)- 1XtH=X(XtX)-1XtH = X (X^tX)^{-1} X^t et la PRESSE (somme résiduelle prédite des carrés) est calculée par SSP=∑je(eje1 -hje...
Supposons que j'ai un échantillon de fréquences de 4 événements possibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 et j'ai les probabilités attendues que mes événements se produisent: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Avec la somme des fréquences observées de mes quatre événements (18), je peux calculer...
J'ai eu un entretien d'embauche pour un poste en science des données. Au cours de l'entretien, on m'a demandé ce que je dois faire pour m'assurer que le modèle n'est pas trop adapté. Ma première réponse a été d'utiliser la validation croisée pour évaluer les performances du modèle. Cependant,...
Cela peut être peut-être une question stupide, mais lors de la génération d'un modèle avec caret et en utilisant quelque chose comme LOOCVou (plus précisément) LGOCV, quel est l'avantage de diviser les données en trains et ensembles de test si c'est essentiellement ce que l'étape de validation...
J'ai un modèle de régression simple ( y = param1 * x1 + param2 * x2 ). Lorsque j'adapte le modèle à mes données, je trouve deux bonnes solutions: La solution A, params = (2,7), est la meilleure sur l' ensemble d'entraînement avec RMSE = 2,5 MAIS! Solution B params = (24,20) gagne gros sur l'...
Mon manuel sur la validation croisée est Les éléments de l'apprentissage statistique par Hastie et al. (2e éd.). Dans les sections 7.10.1 et 7.12, ils parlent de la différence entre l'erreur de test conditionnelleE(X∗,Y∗)[L(Y,f^(X))|τ]E(X∗,Y∗)[L(Y,f^(X))|τ]E_{(X^*,Y^*)}[L(Y, \hat{f}(X))|\tau] et...
J'implémente la validation croisée et calcule des métriques d'erreur telles que RMSE, , MAE, MSE, etc.R2R2R^2 RMSE et MAE peuvent-ils avoir la même
Exemples: J'ai une phrase dans la description de poste: "Java senior engineer in UK". Je veux utiliser un modèle d'apprentissage profond pour le prédire en 2 catégories: English et IT jobs. Si j'utilise un modèle de classification traditionnel, il ne peut prédire qu'une seule étiquette avec...
Je me rends compte qu'il y a 3 paramètres de réglage dans le modèle de boosting trees, c'est-à-dire le nombre d'arbres (nombre d'itérations) paramètre de rétrécissement nombre de divisions (taille de chaque arbre constitutif) Ma question est: pour chacun des paramètres de réglage, comment dois-je...
Supposons que dans une analyse de régression dans R, j'ai une variable indépendante de type de facteur avec 3 niveaux dans mon jeu de données de train. Mais dans l'ensemble de données de test, la même variable de facteur a 5 niveaux. Par conséquent, je ne peux pas prédire les valeurs de réponse...
Dans Random Forest, chaque arbre est cultivé en parallèle sur un échantillon boostrap unique des données. Étant donné que chaque échantillon boostrap devrait contenir environ 63% d'observations uniques, cela laisse environ 37% d'observations, qui peuvent être utilisées pour tester l'arbre....
J'ai quelques modèles prédictifs dont je voudrais tester les performances (c.-à-d. Prendre mon jeu de données, le «rembobiner» à un point antérieur dans le temps et voir comment le modèle aurait fonctionné de manière prospective). Le problème est que certains de mes modèles ont été construits via...
Lors de l'utilisation de k-fold CV pour sélectionner parmi les modèles de régression, je calcule généralement l'erreur CV séparément pour chaque modèle, ainsi que son erreur standard SE, et je sélectionne le modèle le plus simple dans 1 SE du modèle avec l'erreur CV la plus faible (le 1 règle...
J'ai lu les deux pages wikipedia d' analyse de sensibilité et de validation de modèle (ici, seulement la validation de régression linéaire) mais je n'arrive pas à trouver un moyen de séparer ces deux termes. J'ai l'impression que le premier est plus utilisé dans les universités et l'ingénierie en...
J'ai lu les classificateurs algébriques: une approche générique pour la validation croisée rapide, la formation en ligne et la formation parallèle et j'ai été étonné par la performance des algorithmes dérivés. Cependant, il semble qu'au-delà de Naive Bayes (et GBM) il n'y a pas beaucoup...
L'AIC est fréquemment recommandé comme critère pour comparer les modèles de prévision de séries chronologiques. Voir par exemple ceci dans le contexte des modèles de régression dynamique : L'AIC peut être calculé pour le modèle final et cette valeur peut être utilisée pour déterminer les meilleurs...
Ma question: dois-je faire du CV même pour un ensemble de données relativement volumineux? J'ai un ensemble de données relativement volumineux et j'appliquerai un algorithme d'apprentissage automatique à l'ensemble de données. Comme mon PC n'est pas rapide, le CV (et la recherche dans la grille)...
Dans The Elements of Statistical Learning , j'ai trouvé l'énoncé suivant: Il y a une qualification: les étapes initiales de dépistage non supervisé peuvent être effectuées avant de laisser des échantillons. Par exemple, nous pourrions sélectionner les 1000 prédicteurs présentant la variance la plus...