Questions théoriques sur l'apprentissage automatique, en particulier la théorie de l'apprentissage informatique, y compris la théorie de l'apprentissage algorithmique, l'apprentissage PAC et l'inférence bayésienne
Mon doctorat est en mathématiques pures, et j’avoue que je ne sais pas grand chose (c’est-à-dire quoi que ce soit) en CS théorique. Cependant, j'ai commencé à explorer des options non académiques pour ma carrière et en m'initiant à l'apprentissage automatique, j'ai trouvé des affirmations telles...
J'enseigne un cours d'algorithmes avancés et j'aimerais inclure quelques sujets liés à l'apprentissage automatique qui intéresseront mes étudiants. En conséquence, j'aimerais entendre l'opinion des gens sur les résultats algorithmiques actuellement les plus intéressants / les plus importants en...
Nous savons que (voir, par exemple, les théorèmes 1 et 3 de [1]), en gros, dans des conditions appropriées, des fonctions qui peuvent être efficacement calculées par la machine de Turing en temps polynomial ("efficacement calculable") peuvent être exprimées par des réseaux de neurones polynomiaux...
Regardons l'avenir dans une trentaine d'années. Soyons optimistes et supposons que les domaines liés à l'apprentissage automatique continuent de se développer aussi rapidement que ce que nous avons vu au cours des 10 dernières années. Ce serait formidable, mais alors quel serait le rôle de...
Dans les tests de propriétés de graphe, un algorithme interroge un graphe cible pour la présence ou l'absence d'arêtes et doit déterminer si la cible a une certaine propriété ou est ϵϵ\epsilon loin d'avoir la propriété. (Un algorithme peut être demandé pour réussir avec une face ou deux faces d'...
Voici une abstraction d'un problème d'apprentissage en ligne / bandit sur lequel j'ai travaillé l'été. Je n'ai jamais vu un problème comme celui-ci auparavant, et cela semble assez intéressant. Si vous connaissez un travail connexe, j'apprécierais les références. Le problème Le réglage est celui...
J'étudie actuellement les mathématiques. Cependant, je ne pense pas vouloir devenir mathématicien professionnel à l'avenir. Je pense appliquer mes connaissances en mathématiques pour faire de la recherche en intelligence artificielle. Cependant, je ne sais pas combien de cours de mathématiques je...
Est-il possible de tester algorithmiquement si un nombre calculable est rationnel ou entier? En d'autres termes, serait-il possible pour une bibliothèque qui implémente des nombres calculables de fournir les fonctions isIntegerou isRational? Je suppose que ce n'est pas possible, et que cela est en...
Nous savons (pour le moment environ 40 ans, merci Adleman, Bennet et Gill) que l'inclusion BPP P / poly, et un BPP / poly P / poly encore plus fort . Le "/ poly" signifie que nous travaillons de manière non uniforme (un circuit séparé pour chaque longueur d'entrée ), tandis que P sans ce "/ poly"...
Contexte Les fonctions dans sont PAC apprenables en temps quasi-polynomial avec un algorithme classique qui nécessite des requêtes choisies au hasard pour apprendre un circuit de profondeur d [1]. S'il n'y a pas d' algorithme de factorisation alors c'est optimal [2]. Bien sûr, sur un ordinateur...
Edit: Comme je n'ai reçu aucune réponse / commentaire en une semaine, je voudrais ajouter que je suis heureux d'entendre quoi que ce soit sur le problème. Je ne travaille pas dans la région, donc même si c'est une simple observation, je ne le sais peut-être pas. Même un commentaire comme "je...
Il est connu via le théorème d'approximation universel qu'un réseau neuronal avec même une seule couche cachée et une fonction d'activation arbitraire peut approximer n'importe quelle fonction continue. Quels sont les autres modèles qui sont également des approximateurs de fonctions...
La propagation de la croyance s'est avérée être une méthode très puissante grâce à la recherche de modèles graphiques probabilistes. Cependant, je ne connais rien de BP comparable aux méthodes MCMC où nous pouvons avoir des schémas d'approximation randomisés entièrement polynomiaux (FPRAS) pour les...
Les algorithmes génétiques évoluent en moins de générations avec une population plus importante, mais prennent également plus de temps pour calculer une génération. Existe-t-il des lignes directrices pour équilibrer ces deux facteurs, afin d'arriver à une solution viable le plus rapidement...
J'ai assigné à mes élèves le problème de trouver un triangle cohérent avec une collection de points dans , étiqueté avec . (Un triangle est cohérent avec l'échantillon étiqueté si contient tous les points positifs et aucun des points négatifs; par hypothèse, l'échantillon admet au moins 1 triangle...
Un algorithme de test de distribution pour une propriété de distribution P (qui n'est qu'un sous-ensemble de toutes les distributions sur [n]) est autorisé à accéder aux échantillons en fonction d'une distribution D, et doit décider (whp) si ou ( voici généralement la distance ℓ 1 ). La mesure de...
J'ai posé cette question dans des questions- réponses validées de manière croisée, mais il semble qu'elle soit beaucoup plus liée à CS qu'aux statistiques. Pouvez-vous me donner des exemples d'algorithmes d'apprentissage automatique qui apprennent des propriétés statistiques de l'ensemble de...
Supposons que nous ayons un réseau de neurones à rétroaction simple couche avec k entrées et une sortie. Il calcule une fonction à partir de , il est assez facile de voir que cela a au moins la même puissance de calcul que A C 0 . Juste pour le plaisir, nous appellerons l'ensemble des fonctions...
Quels sont les problèmes du monde réel qui ont été résolus en utilisant un algorithme génétique? Quel est le problème? Quel est le test de condition physique utilisé pour résoudre ce
Contexte: En apprentissage automatique, nous travaillons souvent avec des modèles graphiques pour représenter des fonctions de densité de probabilité dimensionnelle élevée. Si nous rejetons la contrainte qu'une densité intègre (somme) à 1, nous obtenons une fonction d'énergie structurée...