L' astuce du noyau est utilisée dans plusieurs modèles d'apprentissage automatique (par exemple SVM ). Il a été introduit pour la première fois dans le document "Fondements théoriques de la méthode de la fonction potentielle dans l'apprentissage par reconnaissance de formes" en 1964.
La définition de wikipedia dit qu'il est
une méthode d'utilisation d'un algorithme de classificateur linéaire pour résoudre un problème non linéaire en mappant les observations non linéaires originales dans un espace de dimension supérieure, où le classificateur linéaire est ensuite utilisé; cela rend une classification linéaire dans le nouvel espace équivalente à une classification non linéaire dans l'espace d'origine.
Un exemple de modèle linéaire qui a été étendu à des problèmes non linéaires est le noyau PCA . L'astuce du noyau peut-elle être appliquée à n'importe quel modèle linéaire, ou a-t-elle certaines restrictions?
Réponses:
L'astuce du noyau ne peut être appliquée qu'aux modèles linéaires où les exemples dans la formulation du problème apparaissent sous forme de produits scalaires (Support Vector Machines, PCA, etc.).
la source
Deux autres références de B. Schölkopf :
et un site Web dédié aux machines du noyau .
la source
@ ebony1 donne le point clé (+1), j'étais co-auteur d'un article sur la façon de noyauer les modèles linéaires généralisés, par exemple la régression logistique et la régression de Poisson, c'est assez simple.
GC Cawley, GJ Janacek et NLC Talbot, Generalized kernel machines, in Proceedings of the IEEE / INNS International Joint Conference on Neural Networks (IJCNN-2007), pages 1732-1737, Orlando, Floride, États-Unis, 12-17 août 2007. ( www , pdf )
J'ai également écrit une boîte à outils MATLAB (qualité recherche) (malheureusement pas d'instructions), que vous pouvez trouver ici .
Être capable de modéliser la distribution cible est assez utile dans la quantification de l'incertitude, etc. c'est donc un ajout utile (bien qu'incrémentiel) aux méthodes d'apprentissage du noyau.
la source