Comment prouver qu'il n'y a pas d'espace d'entité de dimension finie pour le noyau RBF gaussien?

14

Comment prouver que pour la fonction de base radiale il n'y a pasespace caractéristique de dimension finieHtelle sorte que pendantcertainΦ:RnHnous avonsk(x,y)=Φ(x),Φ(yk(x,y)=exp(||xy||2)2σ2)HΦ:RnH ?k(x,y)=Φ(x),Φ(y)

Leo
la source
Cette question est-elle plus appropriée pour les mathématiques?
Leo
1
Un plan d'attaque possible serait d'exposer un sous-espace de qui n'est pas fermé. H
Nick Alger
@Nick Alger: peut-être que cela aide: stats.stackexchange.com/questions/80398/…

Réponses:

11

Le théorème de Moore-Aronszajn garantit qu'un noyau défini positif symétrique est associé à un espace Hilbert de noyau de reproduction unique. (Notez que bien que le RKHS soit unique, le mappage lui-même ne l'est pas.)

Par conséquent, vous pouvez répondre à votre question en présentant un RKHS de dimension infinie correspondant au noyau gaussien (ou RBF). Vous pouvez trouver une étude approfondie de ceci dans " Une description explicite des espaces de Hilbert à noyau reproducteur des noyaux gaussiens RBF ", Steinwart et al.

PierreChc
la source
2

Supposons que le noyau gaussien RBF k(X,y) est défini sur le domaine X×XXcontient un nombre infini de vecteurs. On peut prouver ( noyaux gaussiens, pourquoi sont-ils complets? ) Que pour tout ensemble de vecteurs distinctsX1,...,XmX matrice (k(Xje,Xj))m×m n'est pas singulier, ce qui signifie que les vecteurs Φ(X1),...,Φ(Xm)sont linéairement indépendants. Ainsi, un espace caractéristiqueH pour le noyau k ne peut pas avoir un nombre fini de dimensions.

Leo
la source
Vous trouverez ici une explication plus «intuitive» que le Φpeut mapper sur une étendue de dimension égale à la taille de l'échantillon d'apprentissage, même pour un échantillon d'apprentissage infini: stats.stackexchange.com/questions/80398/…