Quelle méthode du noyau donne les meilleures sorties de probabilité?

10

Récemment, j'ai utilisé la mise à l'échelle de Platt des sorties SVM pour estimer les probabilités d'événements par défaut. Des alternatives plus directes semblent être la «régression logistique du noyau» (KLR) et la «machine d'importation de vecteurs» associée.

Quelqu'un peut-il dire quelle méthode du noyau donnant des sorties de probabilité est actuellement à la pointe de la technologie? Existe-t-il une implémentation R de KLR?

Merci beaucoup pour votre aide!

logistic svm kernel-trick RichardN
la source
(+1) Une question très intéressante ...
steffen

Réponses:

7

La classification des processus gaussiens (utilisant la propagation des attentes) est probablement à la pointe de la technologie en apprentissage automatique. Il existe un excellent livre de Rasmussen et Williams (téléchargeable gratuitement), dont le site Web a une très bonne implémentation MATLAB. Plus de logiciels, livres, articles, etc. ici . Cependant, dans la pratique, KLR fonctionnera probablement aussi bien pour la plupart des problèmes, la principale difficulté est de sélectionner le noyau et les paramètres de régularisation, ce qui est probablement mieux fait par validation croisée, bien que la validation croisée avec un seul retrait puisse être approximée très efficacement, voir Cawley et Talbot (2008).

Dikran Marsupial
la source
(+1) Merci pour le lien et les conseils sur le problème de sélection des modèles.
chl
Je devrais ajouter, n'utilisez pas d'implémentations basées sur l'approximation de Laplace - le postérieur est très asymétrique, et une approximation symétrique centrée sur le mode ne fonctionnera généralement pas très bien.
Dikran Marsupial
Merci Dikran! Pourriez-vous m'expliquer la relation entre KLR et le lissage du noyau? Le modèle KLR est construit de manière similaire à la formulation svm [perte + pénalité] et résolu par descente de gradient. Mais les références en même temps (par exemple dans "Kernel Logistic Regression and the Import Vector Machine", Zhu et Hastie 2005) sur KLR vont à la littérature sur le lissage (par exemple "Generalized Additive Models", Hastie et Tibshirani 1990).
RichardN
Je ne connais pas très bien la littérature sur le lissage, mais les modèles de noyau sont étroitement liés au lissage des splines. Je pense que le meilleur endroit où chercher serait les publications de Grace Wahba ( stat.wisc.edu/~wahba ), dont le travail s'étend à la fois sur les méthodes de lissage et de noyau.
Dikran Marsupial
Merci, j'examinerai de plus près les publications de wahba. Pouvez-vous recommander une implémentation de KLR, au mieux en R?
RichardN
1

Je suppose que vous savez que le noyau de régression logistique est non paramétrique, donc vous avez d'abord cette restriction.

En ce qui concerne le package R, celui que je connais et qui fonctionne plutôt bien est np : méthodes de lissage du noyau non paramétriques pour les types de données mixtes

Ce package fournit une variété de méthodes de noyau non paramétriques (et semi-paramétriques) qui gèrent de manière transparente un mélange de types de données factoriels continus, non ordonnés et ordonnés.

En ce qui concerne l'état de l'art kernell, je peux recommander d'expérimenter avec ceux décrits dans cet article à partir de 2009. Lisez-le attentivement pour choisir celui qui est le mieux et le plus réel pour vous.

mariana soffer
la source
Hé Mariana, merci pour votre réponse, mais nous avons eu un malentendu: par «méthodes du noyau», j'entends des méthodes telles que la machine à vecteur de support utilisant le «truc du noyau», pas les méthodes de lissage du noyau.
RichardN