Meilleures pratiques pour mesurer et éviter le sur-ajustement?

Je développe des systèmes de trading automatisés pour le marché boursier. Le grand défi a été le sur-ajustement. Pouvez-vous recommander des ressources décrivant des méthodes pour mesurer et éviter le sur-ajustement?

J'ai commencé avec des ensembles de formation / validation, mais l'ensemble de validation est toujours vicié.

De plus, les données de séries chronologiques changent toujours parce que le marché est en constante évolution. Comment mesurez-vous cela et déterminez-vous la probabilité de résultats cohérents sur des données invisibles?

Merci.

time-series machine-learning dataset data-mining validation B Seven
la source

B Seven, votre question est beaucoup trop élevée et peu spécifique. Fondamentalement, tout le domaine de l'apprentissage automatique peut se résumer à la question de savoir comment éviter le surapprentissage. Il existe plusieurs stratégies comme la validation croisée, la régularisation ou l'utilisation d'un a priori approprié. Tout bon livre d'apprentissage machine peut vous y aider (par exemple le Duda / Hart / Stork ou celui de Bishop). Il n'est pas clair non plus ce que vous entendez par "ensemble de validation vicié". Si votre modèle ne peut pas faire face à l'évolution des données de séries chronologiques, cela signifie qu'il est probablement trop simple. Mais les modèles plus complexes nécessiteront encore plus de régularisation.

fabee

@ B Seven - si votre ensemble de validation est vicié (je suppose en y ajustant des modèles), alors peut-être qu'il serait plus approprié de diviser vos données en un ensemble de formation, de test et de validation?

richiemorrisroe

OK, ça a du sens. Différentes approches pour éviter de sur-adapter le travail dans différents domaines.

B Seven

Réponses:

Pour un sur-ajustement dans la sélection du modèle, un papier à lire est

C. Ambroise et GJ McLachlan, «Biais de sélection dans l'extraction de gènes sur la base de données d'expression génique de puces à ADN», PNAS, vol. 99 non. 10 6562-6566, mai 2002. http://dx.doi.org/10.1073/pnas.102102699

Pour une discussion du même type de problème qui se pose dans la sélection de modèle, voir

GC Cawley, NLC Talbot, «On Over-fit in Model Selection and Subsequent Selection Bias in Performance Evaluation», Journal of Machine Learning Research, 11 (juil): 2079−2107, 2010. http://jmlr.csail.mit. edu / papers / v11 / cawley10a.html

La façon de résoudre le problème de la dégradation de l'ensemble de validation consiste à utiliser la validation croisée imbriquée, de sorte que la méthode utilisée pour faire des choix concernant le modèle est effectuée indépendamment dans chaque pli de la validation croisée utilisée pour l'estimation des performances. L'estimation des performances doit essentiellement estimer les performances de l'ensemble de la procédure d'ajustement du modèle (ajustement du modèle, sélection des fonctionnalités, sélection du modèle, tout).

L'autre approche consiste à être bayésien. Le risque de sur-ajustement est introduit chaque fois que vous optimisez un critère basé sur un échantillon fini de données, donc si vous marginalisez (intégrez) plutôt que d'optimiser, un sur-ajustement classique est impossible. Vous avez cependant le problème de spécifier les prieurs.

Dikran Marsupial
la source

J'ai mis en œuvre la validation croisée et la validation croisée Leave One Out, mais je n'ai pas vraiment compris comment mesurer et atténuer le sur-ajustement. J'ai regardé ces papiers, mais ils sont au-dessus de ma tête. Pouvez-vous recommander d'autres ressources d'introduction?

B Seven

pour mesurer le sur-ajustement, il vous suffit d'imbriquer la validation croisée. La validation croisée externe est utilisée pour l'évaluation des performances, et avec chaque pli de la validation croisée externe, une validation croisée "interne" est utilisée pour la sélection des caractéristiques et la sélection du modèle, etc. Cela vous donnera une estimation de performance impartiale.

Dikran Marsupial