Question sur le compromis biais-variance et les moyens d'optimisation

7

Je me demandais donc comment, par exemple, peut-on optimiser au mieux le modèle qu'ils tentent de construire lorsqu'ils sont confrontés à des problèmes présentés par un biais ou une variance élevés. Maintenant, bien sûr, vous pouvez jouer avec le paramètre de régularisation pour arriver à une fin satisfaisante, mais je me demandais s'il était possible de le faire sans compter sur la régularisation.

Si b est l'estimateur du biais d'un modèle et v de sa variance, ne serait-il pas logique d'essayer de minimiser b * v?

machine-learning variance bias Zer0k
la source

Réponses:

8

Il existe de nombreuses façons de minimiser le biais et la variance et malgré le dicton populaire, ce n'est pas toujours un compromis.

Les deux principales raisons du biais élevé sont la capacité insuffisante du modèle et le sous- ajustement, car la phase de formation n'était pas terminée. Par exemple, si vous avez un problème très complexe à résoudre (par exemple la reconnaissance d'image) et que vous utilisez un modèle de faible capacité (par exemple la régression linéaire), ce modèle aurait un biais élevé du fait que le modèle ne peut pas saisir la complexité de le problème.

La principale raison de la variance élevée est le surapprentissage sur l'ensemble d'entraînement.

Cela étant dit, il existe des moyens de réduire à la fois le biais et la variance sur un modèle ML. Par exemple, le moyen le plus simple d'y parvenir est d'obtenir plus de données (dans certains cas, même les données synthétiques aident).

Ce que nous avons tendance à faire dans la pratique, c'est:

  • Tout d'abord, nous augmentons la capacité du modèle afin de réduire au maximum la variance sur l'ensemble d'apprentissage. En d'autres termes, nous voulons rendre le modèle surajusté (atteindre même une perte de 0 sur l'ensemble d'entraînement). Cela se fait parce que nous voulons nous assurer que le modèle a la capacité de comprendre suffisamment les données.

  • Ensuite, nous essayons de réduire le biais . Cela se fait par régularisation ( arrêt précoce , pénalités de norme , décrochage scolaire , etc.)

Djib2011
la source
1
Juste pour être clair, plus de données ne signifie pas exclusivement plus d'exemples, mais pourrait être plus de fonctionnalités pour les exemples actuels, non?
Zer0k
4
Eh bien, en fait, je voulais dire plus d'exemples, mais vous avez raison si vous pouviez mesurer plus de fonctionnalités (significatives) pour les exemples actuels, vous amélioreriez très certainement les performances de votre modèle.
Djib2011