Complexité des requêtes de calcul de l'apprentissage SQ

12

Il est connu que pour l'apprentissage par PAC, il existe des classes de concepts naturels (par exemple des sous-ensembles de listes de décision) pour lesquelles il existe des écarts polynomiaux entre la complexité de l'échantillon nécessaire à l'apprentissage théorique de l'information par un apprenant sans calcul et la complexité de l'échantillon requise par un polynôme. apprenant à temps. (voir, par exemple, http://portal.acm.org/citation.cfm?id=267489&dl=GUIDE ou http://portal.acm.org/citation.cfm?id=301437 )

Cependant, ces résultats semblent dépendre du codage d'un secret dans des exemples particuliers, et ne se traduisent donc pas naturellement dans le modèle d'apprentissage SQ, où l'apprenant peut simplement interroger les propriétés statistiques de la distribution.

Est-il connu s'il existe des classes conceptuelles pour lesquelles un apprentissage théorique de l'information dans le modèle SQ est possible avec des requêtes O (f (n)), mais un apprentissage efficace sur le plan du calcul n'est possible qu'avec des requêtes Omega (g (n)) pour g (n ) >> f (n)?

Aaron Roth
la source

Réponses:

9

Je me suis posé cette question il y a quelque temps. Au moins pour l'apprentissage par rapport à une distribution spécifique, il existe un exemple assez simple d'une classe conceptuelle qui est théoriquement apprenable en SQ mais qui est difficile à apprendre par SQ. Soit \ phi un codage binaire d'une instance SAT et y soit sa première affectation satisfaisante lexicographiquement (ou 0 ^ n est l'instance insatisfaisante). Soit maintenant f (\ phi) une fonction selon laquelle plus de la moitié du domaine est le MAJ (\ phi) et plus de la seconde moitié du domaine est égal à PAR (y). Ici, MAJ est la fonction majoritaire sur les variables définies sur 1 dans la chaîne \ phi et PAR (y) est la fonction de parité sur les variables définies sur 1 dans la chaîne y. Soit F la classe de fonctions ainsi obtenue. Pour SQ apprendre F sur la distribution uniforme U, il suffit d'apprendre les majorités (ce qui est facile) pour trouver \ phi puis y. D'un autre côté, il est assez facile de réduire l'apprentissage SAT à SQ de F (avec une précision sensiblement supérieure à 3/4) sur la distribution uniforme. La raison en est, naturellement, que les parités sont essentiellement "invisibles" pour les SQ et qu'il est donc nécessaire de résoudre le SAT pour apprendre F.

Vitaly
la source
5

Ceci est une belle question. La puissance du modèle de requête statistique est précisément la capacité de prouver des limites inférieures inconditionnelles pour l'apprentissage avec SQ - par exemple, la parité n'est pas apprenable avec une requête statistique de nombre polynomial.

Je ne connais pas les résultats du formulaire que vous demandez, mais peut-être qu'il nous manque quelque chose d'évident ...

Lev Reyzin
la source