Échantillonnage PAC agnostique borne inférieure

Il est bien connu que pour l'apprentissage PAC classique, des exemples de sont nécessaires afin d'obtenir une limite d'erreur de whp, où est la dimension VC de la classe de concept. $\Omega(d/\varepsilon)$ $\varepsilon$ $d$

Est-il connu que des exemples de sont nécessaires dans le cas agnostique? $\Omega(d/\varepsilon^2)$

lg.learning machine-learning Aryeh
la source

Je ne sais pas à quoi ressemble la borne inférieure, une devrait exister si la borne Hoefding est serrée (et je pense que oui). Cette borne indique que pour 1 fn, si la probabilité d'erreur est p, alors vous avez besoin d'au plus

échantillons pour estimer p à l'intérieur de l'erreur + -

whp Donc, considérez n'importe quelle classe de concept avec 2 concepts,

et VC-dimension 2. Prenez une distribution sur les exemples pour que

(ou vice versa) - cela est possible car VC-dimension est 2. Il semble qu'un algorithme utilisant uniquement

m = O (1 / ϵ^{2})

$m = O(1/\epsilon^2)$

ϵ

$\epsilon$

f_{1}

$f_1$

f_{2}

$f_2$

p_{1} = p_{2} + ϵ

$p_1 = p_2 + \epsilon$

exemples impliqueraient une borne Hoefding améliorée.

O (1 / ϵ)

$O(1/\epsilon)$

Aaron Roth

A savoir, je pense que le Hoeffding lié est serré à

pour

. Je pense que le raisonnement ci-dessus est généralement connu ...

p = 1 / 2

$p=1/2$

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

Lev Reyzin

OK - on dirait que je me suis un autre exercice pour le cours de ML ... :) Merci pour la contribution, Aaron et Lev!

Aryeh

@Aaron, cela aurait peut-être dû être une réponse.

Suresh Venkat

Réponses:

Je me rends compte maintenant qu'une borne inférieure a en effet été établie par Anthony et Bartlett (voir la présentation ici ).

Edit 24-Sep-2018. Cette question m'a occupé pendant toutes ces années, et récemment, I. Pinelis et moi avons obtenu la constante optimale optimale dans la limite inférieure PAC agnostique qui apparaîtra dans Ann. Stat .

Aryeh
la source

Dans votre article, vous ne citez pas ce travail ( jmlr.org/papers/volume17/15-389/15-389.pdf ). La complexité optimale de l'échantillon est-elle supérieure dans le cas réalisable sans lien avec votre travail? Ces limites supérieures de complexité optimale de l'échantillon correspondantes sont-elles connues pour le cas agnostique?

gradstudent

Je ne pense pas que le cas réalisable soit tout à fait lié. Dans le cas réalisable, l'ERM ne garantit pas des taux optimaux - d'où tout le travail acharné qu'Hanneke et d'autres ont dû déployer pour supprimer le facteur de journalisation, et on ne sait toujours pas si un bon apprenant peut atteindre le taux optimal. Au contraire, dans le cas agnostique, on sait depuis longtemps que l'ERM atteint le taux optimal.

Aryeh