Dans «Les éléments de l'apprentissage statistique», l'expression de la décomposition biais-variance du modèle linéaire est donnée par où est la fonction cible réelle, est la variance de l'erreur aléatoire dans le modèle et est l'estimateur linéaire de .
Le terme de variance me trouble ici parce que l'équation implique que la variance serait nulle si les cibles sont silencieuses, c'est-à-direMais cela n'a pas de sens pour moi car même avec un bruit nul, je peux toujours obtenir différents estimateurs pour différents ensembles d'apprentissage, ce qui implique que la variance est non nulle.
Par exemple, supposons que la fonction cible est un quadratique et que les données d'apprentissage contiennent deux points échantillonnés au hasard à partir de ce quadratique; clairement, j'obtiendrai un ajustement linéaire différent chaque fois que j'échantillonnerai deux points au hasard à partir de la cible quadratique. Alors, comment la variance peut-elle être nulle?
Quelqu'un peut-il m'aider à découvrir ce qui ne va pas dans ma compréhension de la décomposition biais-variance?
la source