Quelques antécédents: Je suis intéressé à trouver des limites inférieures (ou des résultats de dureté) "moins connues" pour le problème d'apprentissage avec des erreurs (LWE), et des généralisations de celui-ci comme l'apprentissage avec des erreurs sur des anneaux. Pour des définitions...
Il est bien connu que pour une classe de concept de dimension VC , il suffit d'obtenir exemples étiquetés pour PAC learn . Il n'est pas clair pour moi si l'algorithme d'apprentissage PAC (qui utilise ces nombreux échantillons) est approprié ou inapproprié? Dans les manuels de Kearns et Vazirani...
Voici un problème avec une saveur similaire à l'apprentissage des juntes: Entrée: Une fonction F: { 0 , 1 }n→ { - 1 , 1 }f:{0,1}n→{−1,1}f: \{0,1\}^n \rightarrow \{-1,1\} , représentée par un oracle d'appartenance, c'est-à-dire un oracle qui a donné XXx , renvoie F( x )F(X)f(x) . Objectif: trouver...
Soit une distribution sur des paires chaîne de bits / étiquette et soit une collection de fonctions booléennes . Pour chaque fonction , soit: et soit: OPT (C, D) = \ min_ {f \ in C} \ err (f, D) Disons qu'un algorithme A apprend agnostiquement C sur n'importe quelle distribution, si pour n'importe...
Ma question est un peu générique, donc je compose une belle histoire pour la justifier. Restez avec moi si ce n'est pas réaliste ;-) Récit M. X, le chef du service de sécurité informatique d'une grande entreprise, est un peu paranoïaque: il exige que tous les employés changent de mot de passe une...
Les données du monde réel ont parfois un nombre naturel de clusters (essayer de les regrouper en un nombre de clusters inférieur à certains k magiques entraînera une augmentation spectaculaire du coût de clustering). Aujourd'hui, j'ai assisté à une conférence du Dr Adam Meyerson et il a qualifié ce...
Dana Angluin ( 1987 ; pdf ) définit un modèle d'apprentissage avec des requêtes d'appartenance et des requêtes théoriques (contre-exemples d'une fonction proposée). Elle montre qu'un langage régulier qui est représenté par un DFA minimal de états peut être appris en temps polynomial (où les...
Angluin et Laird ('88) ont formalisé l' apprentissage avec des données corrompues de façon aléatoire dans le modèle "PAC avec bruit de classification aléatoire" (ou PAC bruyant). Ce modèle est similaire à PAC apprentissage , sauf pour les étiquettes des exemples donnés à l'apprenant sont endommagés...
Récemment, j'ai lu un nombre décent d'articles CoLT. Bien que je ne lutte pas avec les articles individuels (du moins pas plus que d'habitude avec les autres articles théoriques), je ne pense pas avoir une bonne compréhension du domaine dans son ensemble. Existe-t-il un texte standard, des sondages...
Tout d'abord, je ne sais toujours pas si la théorie est bien adaptée à cette question, donc je ne serai pas offensé si la foule pense que ce n'est pas le cas ... Dans le marketing des moteurs de recherche, plusieurs problèmes sont intéressants. La conception de mécanismes d'enchères équitables (et...
Quels classificateurs d'apprentissage automatique sont les plus parallélisables? Si vous aviez un problème de classification difficile, un temps limité, mais un réseau local décent d'ordinateurs avec lesquels travailler, quels classificateurs essayeriez-vous? D'un côté, il me semble que certains...
Quel est l'état de l'art sur la complexité des requêtes des formules 2-DNF d'apprentissage PAC appropriées avec des exemples de requêtes et sous une distribution uniforme ? Ou tout lien non trivial dessus? Parce que je ne connais pas du tout la théorie de l'apprentissage et que cette question est...
Définissons une classe de fonctions sur un ensemble de bits. Fixons deux distributions p , q qui sont "raisonnablement" différentes l'une de l'autre (si vous le souhaitez, leur distance variationnelle est au moins ϵnnnp , qp,qp, qϵϵ\epsilon , ou quelque chose de similaire). Maintenant, chaque...
Je suis assez familier avec la théorie derrière VC-Dimension, mais je regarde maintenant les progrès récents (10 dernières années) dans la théorie de l'apprentissage statistique: moyennes Rademacher (locales), Lemme de classe finie de Massart, Covering Numbers, Chaining, Dudley's Théorème,...
Il est bien connu que pour l'apprentissage PAC classique, des exemples de sont nécessaires afin d'obtenir une limite d'erreur de ε whp, où d est la dimension VC de la classe de concept.Ω ( d/ ε)Ω(d/ε)\Omega(d/\varepsilon)εε\varepsilonddd Est-il connu que des exemples de sont nécessaires dans le cas...
Plus précisément, je demande des ressources pour en savoir plus sur les systèmes d'apprentissage automatique qui peuvent mettre à jour leurs réseaux de croyances respectifs (ou équivalent) pendant le fonctionnement. J'en ai même rencontré quelques-uns, même si je n'ai pas réussi à les mettre en...
Supposons que j'ai points dans R d . Ceux-ci induisent un diagramme de Voronoi. Si j'attribue à chacun des k points une étiquette ± , ceux-ci induisent une fonction binaire sur R d . Question: quelle est la dimension VC de toutes ces fonctions binaires possibles induites par certains k points et un...
Je veux dire spécifiquement les familles de langues qui admettent des chaînes arbitrairement longues - pas des conjonctions sur n bits ou des listes de décisions ou tout autre langage "simple" contenu dans {0,1} ^ n. Je pose des questions sur les langages normaux "théoriques des automates" par...
Les forêts aléatoires ont la réputation parmi les praticiens d'être parmi les techniques de classification les plus efficaces. Pourtant, nous ne les rencontrons pas beaucoup dans la littérature de la théorie de l'apprentissage, dont je présume une absence de résultats théoriques profonds. Si l'on...