Pourquoi les multiplicateurs de Lagrange sont-ils rares pour les SVM?

J'ai lu que pour le SVM Maximal Margin Classifier, après avoir résolu le double problème, la plupart des multiplicateurs de décalage se révèlent être des zéros. Seuls ceux correspondant aux vecteurs supports se révèlent positifs.

Pourquoi donc?

Les multiplicateurs de Lagrange dans le contexte des SVM sont généralement notés $\alpha_i$. Le fait que l'on observe souvent que la plupart$\alpha_i=0$est une conséquence directe des conditions de double complémentarité de Karush-Kuhn-Tucker (KKT) :

Depuis $y_i(\mathbf{w}^T\mathbf{x}_i+b) = 1$ ssi $\mathbf{x}_i$ est sur la frontière de décision SVM, c'est à dire est un vecteur de support en supposant $\mathbf{x}_i$ est dans l'ensemble de formation, et dans la plupart des cas, peu de vecteurs de formation sont des vecteurs de support, comme le soulignent les commentaires, cela signifie que la plupart $\alpha_i$ sont 0 ou $C$.

Les notes de cours CS229 d'Andrew Ng sur les SVM présentent les conditions de double complémentarité Karush-Kuhn-Tucker (KKT):

Notez que nous pouvons créer un cas où tous les vecteurs de l'ensemble de formation sont des vecteurs de support: par exemple, voir cette question de machine de vecteur de support .