Une explication intuitive de AdaBoost algorithn
Permettez-moi de développer l'excellente réponse de @ Randel en illustrant le point suivant.
- Dans Adaboost, les «lacunes» sont identifiées par des points de données de poids élevé
Récapitulatif AdaBoost
Gm(x) m=1,2,...,M
G(x)=sign(α1G1(x)+α2G2(x)+...αMGM(x))=sign(∑m=1MαmGm(x))
AdaBoost sur un exemple de jouet
M=10
Visualiser la séquence des apprenants faibles et les poids de l'échantillon
m=1,2...,6
Première itération:
- La limite de décision est très simple (linéaire) car ce sont des apprenants
- Tous les points ont la même taille, comme prévu
- 6 points bleus sont dans la région rouge et sont mal classés
Deuxième itération:
- La limite de décision linéaire a changé
- Les points bleus précédemment mal classés sont maintenant plus grands (plus grand échantillon) et ont influencé la limite de décision
- 9 points bleus sont maintenant mal classés
Résultat final après 10 itérations
αm
([1.041, 0.875, 0.837, 0.781, 1.04, 0.938 ...
Comme on pouvait s'y attendre, la première itération a le plus grand coefficient car c'est celle qui présente le moins de mauvaises classifications.
Prochaines étapes
Une explication intuitive du dégradé - à compléter
Sources et lectures complémentaires:
Xavier Bourret Sicotte
la source