Confusion liée à la technique d'ensachage

J'ai un peu de confusion. Je lisais cet article où il expliquait que la technique d'ensachage réduit considérablement la variance et n'augmente que légèrement le biais. Je ne l'ai pas compris comment cela réduit la variance. Je sais ce qu'est la variance et le biais. Le biais est l'incapacité du modèle à apprendre les données. La variance est quelque chose de similaire au sur-ajustement. Je ne comprends tout simplement pas comment l'ensachage réduit la variance.

De manière informelle, lorsqu'un modèle présente une variance trop élevée, il peut s'adapter «trop bien» aux données. Cela signifie que pour différentes données, les paramètres du modèle trouvé par l'apprentissage de l'algorithme seront différents, ou en d'autres termes, il y aura une grande variance dans les paramètres appris, en fonction de l'ensemble d'apprentissage.

Vous pouvez y penser de cette façon: les données sont échantillonnées à partir d'une distribution de probabilité réelle, et le modèle apprend les paramètres en fonction des données échantillonnées. Il existe donc une distribution de probabilité conditionnelle sur les paramètres appris des données données du modèle. Cette distribution présente une certaine variance, parfois trop élevée. Mais lorsque vous faites la moyenne de modèles avec différents ensembles de paramètres appris pour différents ensembles d'apprentissage, c'est comme si vous aviez échantillonné cette distribution de probabilité conditionnelle fois. La moyenne de échantillons provenant d'un PD présente toujours une variance plus faible qu'un seul échantillonnage de la même distribution. Pour l'intuition, regardez le PD gaussien, avec 0 moyenne et un échantillon a exactement$N$$N$$N$$\sigma = 1$$0$moyenne et variance . Mais si vous échantillonnez fois et faites la moyenne des résultats, la moyenne du résultat de l'opération sera toujours , mais la variance sera .$1$$N$$0$$\frac{1}{N}$

Veuillez également noter que ce n'est qu'une intuition très informelle, et il serait préférable pour vous de lire sur le biais / la variance d'une bonne source fiable. Je recommande Elements of Statistical Learning II: http://www-stat.stanford.edu/~tibs/ElemStatLearn/

Vous pouvez télécharger le livre gratuitement, et il y a tout un chapitre sur la décomposition des biais / variances.