Dans l'algorithme SVM, pourquoi le vecteur w est orthogonal à l'hyperplan de séparation?

13

Je suis un débutant en Machine Learning. Dans SVM, l'hyperplan de séparation est défini comme . Pourquoi dit-on vecteur w orthogonal à l'hyperplan de séparation?y=wTx+bw

Chong Zheng
la source
3
Une réponse à une question similaire (pour les réseaux de neurones) est ici .
bogatron
@bogatron - Je suis entièrement d'accord avec vous. Mais mes seulement une réponse spécifique SVM .
Untitledprogrammer
2
Sauf que ce n'est pas le cas. Votre réponse est correcte mais il n'y a rien à ce sujet qui soit spécifique aux SVM (et il ne devrait pas y en avoir). est simplement une équation vectorielle qui définit un hyperplan. wTx=b
bogatron

Réponses:

10

Géométriquement, le vecteur w est dirigé orthogonal à la ligne définie par . Cela peut être compris comme suit:wTx=b

Prenez d'abord . Maintenant, il est clair que tous les vecteurs, x , avec un produit intérieur disparaissant avec w satisfont cette équation, c'est-à-dire que tous les vecteurs orthogonaux à w satisfont cette équation.b=0xw

Maintenant, déplacez l'hyperplan loin de l'origine sur un vecteur a. L'équation pour le plan devient maintenant: , c'est-à-dire que pour le décalage b = a T w , qui est la projection du vecteur a sur le vecteur w .(xa)Tw=0b=aTwaw

Sans perte de généralité, nous pouvons donc choisir une perpendiculaire au plan, auquel cas la longueur qui représente la distance orthogonale la plus courte entre l'origine et l'hyperplan.||a||=|b|/||w||

Par conséquent, le vecteur est dit orthogonal à l'hyperplan de séparation.w

programmeur sans titre
la source
4

La raison pour laquelle est normal à l'hyperplan est parce que nous le définissons de cette façon:w

P0P0=x0,y0,z0(0,0,0)<x0,y0,z0>P(x,y,z)PP0

PP0=<xx0,yy0,zz0>

n^

n^(PP0)=0
n^Pn^P0=0
n^P0bn^wPxw
Shehryar Malik
la source
2

wTx+b=0xaxb

wTxa+b=0wTxb+b=0

wT.(xaxb)=0xaxbxbxawT.(xaxb)wTxaxb

adityagaydhani
la source
0

En utilisant la définition algébrique d'un vecteur orthogonal à un hyperplan:

 x1,x2

wT(x1x2)=(wTx1+b)(wTx2+b)=00=0 .
Indominus
la source