Dimension VC des modèles de régression

12

Dans la série de conférences Learning from Data , le professeur mentionne que la dimension VC mesure la complexité du modèle sur le nombre de points qu'un modèle donné peut briser. Donc, cela fonctionne parfaitement pour les modèles de classification où nous pourrions dire sur N points si le classificateur est capable de briser efficacement k points, la mesure de la dimension VC serait K. Mais il n'était pas clair pour moi comment mesurer la dimension VC pour les modèles de régression ?

karthikbharadwaj
la source

Réponses:

3

Tiré des éléments de l'apprentissage statistique , p. 238:

Jusqu'à présent, nous avons discuté de la dimension VC uniquement des fonctions d'indicateur, mais cela peut être étendu aux fonctions à valeur réelle. La dimension VC d'une classe de fonctions à valeur réelle est définie comme étant la dimension VC de la classe indicatrice , où prend des valeurs sur la plage de g.g(x,α)1(g(x,α)β>0)β

Ou, (un peu) plus intuitivement, pour trouver la dimension VC d'une classe de fonctions à valeur réelle, on peut trouver la dimension VC de la classe de fonctions indicatrices qui peut être formée en seuillant cette classe de fonctions à valeur réelle.

Sean Easter
la source
Mais cela donne la dimension VC pour les indicateurs de seuil, et à première vue, je ne vois pas comment obtenir des limites PAC pour les indicateurs de seuil vous en dit long sur les performances de votre fonction de régression. Vous pouvez peut-être trouver un argument dans lequel vous effectuez une recherche binaire sur la valeur régressée (pour les domaines de sortie bornés).
VF1
@ VF1 True. Comment interpréter la dimension VC d'une fonction de régression pourrait être une bonne question distincte.
Sean Easter
Je posterais une question distincte, mais je crois que la réponse est simplement "n'utilisez pas VC dim pour la régression", car Rademacher vous laisserait faire tout autant pour les pertes arbitraires limitées.
VF1
@ VF1 Je voudrais lire une réponse qui l'a dit avec intérêt! Tout ce que je veux dire, c'est suggérer que la norme CV est de limiter les questions à une seule question par poste, et que le PO n'a pas abordé l'interprétation ou le but.
Sean Easter
0

Voir la section 5.2 de Statistical Learning (Vapnik) pour une dérivation de l'astuce d'indicateur de seuillage utilisant des mesures de Lebesgue-Stieltjes. AFAIK c'est la seule et définitive référence. Vous devez déjà savoir où trouver le livre (et d'autres de Vapnik, ils sont tous superlatifs).

memeplex
la source
1
Il serait utile de résumer l'argument plutôt que de simplement fournir une référence.
mdewey