Dans SVM, le noyau gaussien est défini comme: où x, y \ in \ mathbb {R ^ n} . Je ne connais pas l'équation explicite de \ phi . Je veux le savoir.
Je veux aussi savoir si
où . Maintenant, je pense que ce n'est pas égal, car l'utilisation d'un noyau gère la situation où le classeur linéaire ne fonctionne pas. Je sais que projette x dans un espace infini. Donc, s'il reste toujours linéaire, peu importe le nombre de dimensions, svm ne peut toujours pas faire une bonne classification.
machine-learning
svm
kernel-trick
Vivian
la source
la source
Réponses:
Vous pouvez obtenir l'équation explicite deϕ pour le noyau gaussien via l'expansion de la série Tailor de ex . Pour simplifier la notation, supposons x∈R1 :
Ceci est également discuté plus en détail dans ces diapositives par Chih-Jen Lin de NTU (diapositive 11 en particulier). Notez que dans les diapositives est utilisé comme paramètre de noyau.γ=12σ2
L'équation dans l'OP n'est valable que pour le noyau linéaire.
la source
Pour tout noyau psd valide , il existe une carte de fonctionnalité telle que . L'espace et l'incorporation n'ont en fait pas besoin d'être uniques, mais il existe une paire unique importante connue sous le nom d'espace de Hilbert du noyau reproducteur (RKHS).H φk:X×X→R k ( x , y ) = ⟨ φ ( x ) , φ ( y ) ⟩ H ( H , φ )φ:X→H k(x,y)=⟨φ(x),φ(y)⟩H H φ (H,φ)
Le RKHS est discuté par: Steinwart, Hush and Scovel, An Explicit Description of the Reproducing Kernel Hilbert Spaces of Gaussian RBF Kernels , IEEE Transactions on Information Theory 2006 ( doi , pdf gratuit de citeseer ).
C'est un peu compliqué, mais cela se résume à ceci: définir comme e n ( z ) : = √en:C→C
Soit une séquence s'étendant sur tous les -tuples d'entiers non négatifs; si , peut-être , , , etc. Désignons le ème composant du ème tuple par . d d = 3 n ( 0 ) = ( 0 , 0 , 0 ) n ( 1 ) = ( 0 , 0 , 1 ) n ( 2 ) = ( 0 , 1 , 1 ) j i n i jn:N0→Nd0 d d=3 n(0)=(0,0,0) n(1)=(0,0,1) n(2)=(0,1,1) j i nij
Alors le ème composant de est . Alors cartes vecteurs à des vecteurs complexes de dimension infinie.φ ( x ) ∏ d j = 1 e n i j ( x j ) φ R di φ(x) ∏dj=1enij(xj) φ Rré
Le problème est que nous devons en outre définir des normes pour ces vecteurs complexes de dimension infinie d'une manière spéciale; voir le document pour plus de détails.
Steinwart et al. donne également une intégration plus simple (à mon avis) dans , l'espace Hilbert des fonctions intégrables au carré de : Notez que est elle - même une fonction de à . C'est fondamentalement la densité d'un gaussien dimensionnel avec une moyenne et une covariance ; seule la constante de normalisation est différente. Ainsi, lorsque nous prenons R d → R Φ σ ( x ) = ( 2 σ ) dL2( Rré) Rré→ R Φσ(x)RdRdx1
Ce ne sont pas les seuls plongements qui fonctionnent.
Un autre est basé sur la transformée de Fourier, que le célèbre article de Rahimi et Recht ( Random Features for Large-Scale Kernel Machines , NIPS 2007) se rapproche très bien.
Vous pouvez également le faire en utilisant la série Taylor: en fait la version infinie de Cotter, Keshet et Srebro, Explicit Approximations of the Gaussian Kernel , arXiv: 1109.4603 .
la source
Il me semble que votre deuxième équation ne sera vraie que si est une cartographie linéaire (et donc est un noyau linéaire). Comme le noyau gaussien n'est pas linéaire, l'égalité ne tiendra pas (sauf peut-être dans la limite lorsque va à zéro).K σϕ K σ
la source