J'ai une question spécifique sur la validation dans la recherche d'apprentissage automatique.
Comme nous le savons, le régime d'apprentissage automatique demande aux chercheurs de former leurs modèles sur les données de formation, de choisir parmi les modèles candidats par ensemble de validation et de rendre compte de la précision sur l'ensemble de test. Dans une étude très rigoureuse, l'ensemble de test ne peut être utilisé qu'une seule fois. Cependant, cela ne peut jamais être le scénario de recherche, car nous devons améliorer nos performances jusqu'à ce que la précision du test soit meilleure que les résultats de pointe avant de pouvoir publier (ou même soumettre) un article.
Maintenant vient le problème. Disons que 50% est le résultat le plus récent et que mon modèle peut généralement atteindre une précision de 50 à 51, ce qui est mieux en moyenne.
Cependant, ma meilleure précision de validation (52%) donne une très faible précision de test, par exemple 49%. Ensuite, je dois rapporter 49% de mes performances globales si je ne peux pas améliorer davantage la validation de la validation, ce qui, je pense, est sans espoir. Cela m'empêche vraiment d'étudier le problème, mais cela n'a pas d'importance pour mes pairs, car ils ne voient pas le taux de 52%, ce qui, je pense, est une valeur aberrante.
Alors, comment les gens font-ils habituellement dans leurs recherches?
La validation ps k-fold n'est d'aucune utilité, car la même situation peut toujours se produire.
seed
pour tenir compte de la reproductibilité. Je soupçonne que votre procédure de cv a une randomisation qui, lorsqu'elle est répétée, peut retourner des résultats légèrement différents (mais ce n'est qu'une supposition). Je vous suggère vraiment d'explorer d'autres modèles ou la transformation de données pour essayer d'améliorer vos performances.