Ressource / livre pour les récents progrès de la théorie de l'apprentissage statistique

Je suis assez familier avec la théorie derrière VC-Dimension, mais je regarde maintenant les progrès récents (10 dernières années) dans la théorie de l'apprentissage statistique: moyennes Rademacher (locales), Lemme de classe finie de Massart, Covering Numbers, Chaining, Dudley's Théorème, pseudodimension, dimension d'éclatement des graisses, numéros d'emballage, composition de Rademacher et peut-être d'autres résultats / outils que je ne connais pas.

Existe-t-il un site Web, une enquête, une collection d'articles ou, mieux encore, un livre couvrant ces sujets?

Alternativement, je regarde des exemples de la façon de lier la moyenne de Rademacher pour des classes simples, de la même manière que les gens utilisent des rectangles alignés sur l'axe pour montrer comment lier la dimension VC.

Merci d'avance.

Je crois que vous apprécierez la théorie de la classification: un aperçu des progrès récentspar Boucheron, Bousquet et Lugosi. En particulier, il commence par construire une théorie de généralisation de base via les complexités de Rademacher, introduit quelques outils utiles (comme le principe de contraction, dont vous pouvez retrouver la preuve dans les notes de Shai & Shai référencées dans la réponse d'Ashwinkumar, mais (je crois?) Provient du livre de probabilités de Ledoux & Talagrand, qui n'est pas gratuit), et les applique aux méthodes de classification standard (les machines à vecteur de boosting et de support sont discutées, à la fois en raison de leur popularité, et puisqu'elles sont formées via ERM). Ce texte date de 2005, il contient également certains des autres sujets quelque peu récents que vous avez mentionnés, par exemple les complexités locales de Rademacher, et il y a même une petite prise au chaînage. Enfin, bien que le manuscrit soit assez court,

Certains des autres sujets que vous mentionnez sont suffisamment anciens pour figurer dans "Une théorie probabiliste de la reconnaissance des formes" de Devroye, Györfi et Lugosi (en particulier, il a plus à offrir que n'importe quel autre texte que je connaisse). Bien qu'il manque certains des sujets les plus récents que vous mentionnez, il s'agit d'un livre standard que tous ceux que j'ai rencontrés en théorie de l'apprentissage ont emporté sur leurs étagères. Essayez peut-être de trouver une table des matières et un index pour le livre, et feuilletez-le.

Certains des autres sujets que vous mentionnez n'ont pas été traités en détail dans un livre, mais ils sont apparus dans un certain nombre de notes de cours. Par exemple, si vous allez sur la page de Sham Kakade à UPenn , vous trouverez des liens vers deux cours de théorie de l'apprentissage (l'un était au TTI-C, avec Ambuj Tewari), et vous verrez que les liens de sujets correspondent à certaines des choses que vous avez discutées , et n'apparaissent ni dans mes réponses ni ailleurs. Il y a beaucoup de bons cours dans diverses écoles; Avrim Blum a d'excellentes notes extrêmement lisibles pour son cours de théorie de l'apprentissage (son analyse de Winnow est la plus courte, la plus propre et la plus intuitive que j'ai jamais vue!).

Certains d'entre eux sont peut-être un peu trop nouveaux, cependant, et vous devrez aller au matériel source. Mais si vous essayez vraiment de vous procurer un sac de techniques, je pense que l'enquête en haut et les conférences à quelques cours théoriques d'apprentissage vous serviront longtemps.

De plus, vous semblez chercher des textes avancés, mais j'aimerais également brancher deux textes d'introduction que les gens apprécient beaucoup. L'un est "une introduction à la théorie de l'apprentissage informatique", par Kearns et (U.) Vazirani, qui, bien qu'ancien (par exemple, le boosting est présenté uniquement via la construction originale de Robert Schapire, et l'accent est mis sur les PAC plutôt que sur l'apprentissage agnostique), est bien présenté et a une bonne intuition. Personnellement, j'ai obtenu mes bases en Introduction à la théorie de l'apprentissage statistique , par les mêmes auteurs que l'enquête ci-dessus (mais apparaissant dans l'ordre Bousquet, Boucheron, Lugosi?); il a une belle exposition et c'était la première fois que la théorie de la généralisation commençait vraiment à cliquer pour moi.

C'était un cours récemment enseigné. http://www.cs.huji.ac.il/~shais/Handouts.pdf . Je ne l'ai pas lu attentivement, mais le chapitre 7 contient des informations sur la complexité de Rademacher. J'espère que cela aide.

Le livre de Cesa-Bianchi et Lugosi présente une grande partie des aspects modernes des limites de la généralisation et de la théorie de l'apprentissage.