Introduction à l'apprentissage automatique pour les mathématiciens

23

Dans un certain sens, c'est une croix de ma part de math.stackexchange , et j'ai le sentiment que ce site pourrait fournir un large public.

Je recherche une introduction mathématique au machine learning. En particulier, beaucoup de littérature qui peut être trouvée est relativement imprécise et beaucoup de pages sont dépensées sans aucun contenu.

Cependant, à partir d'une telle littérature, j'ai découvert les cours Coursera d'Andrew Ng, le livre de l'évêque sur la reconnaissance des formes et enfin un livre de Smola. Malheureusement, le livre de Smola n'est qu'à l'état de projet. Dans le livre de Smola, même des preuves peuvent être trouvées, ce qui me plaît. Le livre de Bishop est déjà assez bon, mais il manque une certaine rigueur.

En bref: je recherche un livre comme celui de Smola, c'est-à-dire aussi précis et rigoureux que possible et utilise des connaissances mathématiques (bien que de courtes introductions soient bien sûr OK).

Des recommandations?

machine-learning references pac-learning Quickbeam2k1
la source
1
À l'avenir, veuillez ne pas crosspost.
Momo
Il semble que la question soit inachevée - elle s'arrête après "et".
JW
désolé, mon montage a en quelque sorte disparu.
Quickbeam2k1
1
vous voudrez peut-être expliquer pourquoi un mathématicien veut en savoir plus sur l'apprentissage automatique (pour trouver un emploi en tant que data scientist / pour faire de la recherche / etc) qui aidera les gens à vous orienter dans la bonne direction
seanv507
1
pour la science des données, je dirais que vous avez besoin d'une compréhension de base des statistiques (par exemple, régression linéaire / logistique), de la conception expérimentale, par exemple des tests ab, etc., et en plus d'une compréhension des techniques recommandées du système
seanv507

Réponses:

9

Pour ce que vous décrivez, je recommande fortement les «fondements de l'apprentissage automatique» de Mohri et.al. C'est un texte de premier cycle, mais c'est pour de très bons étudiants de premier cycle. Il est lisible et c'est le seul endroit où j'ai trouvé ce que j'appellerais une définition mathématique de l'apprentissage automatique (pac et pac faible). Cela vaut la peine d'être lu pour cette seule raison. J'ai aussi un doctorat en mathématiques. Je connais et comme beaucoup de livres mentionnés ci-dessus. J'aime particulièrement l'ESL pour un large éventail de techniques et d'idées, mais c'est un livre de statistiques avec beaucoup de mathématiques.

meh
la source
1
Au fait, on me dit que Schapire, dans sa thèse, a prouvé qu'un PAC faible implique un PAC. Sa preuve revient à la technique du boost, c'est donc un bel exemple de la façon dont une question théorique a conduit à un résultat très pratique.
meh
Merci pour vos remarques. Je pense que je travaillerai avec ESL plus tard après avoir travaillé avec les livres de Mohri et Shalev-Shwartz
Quickbeam2k1
12

Je recommanderais Elements of Statistical Learning (fichier PDF gratuit). Il a suffisamment de mathématiques et une bonne introduction à toutes les techniques pertinentes - ainsi que quelques informations sur le pourquoi des techniques fonctionnent (et quand elles ne fonctionnent pas).

Aussi Introduction à l'apprentissage statistique (qui est plus pratique - comment le faire en R ). Il a un cours sur l'apprentissage statistique ; vous pourriez trouver les conférences sur YouTube (et encore une fois en PDF gratuit).

seanv507
la source
3
C'est une très bonne recommandation. En plus de cela, je suggère «Apprendre des données» de Yaser S. Abu-Mostafa. Il est fortement théorique mais explique très clairement des sujets tels que la faisabilité de l'apprentissage et la dimension VC. Les vidéos et diapositives sont disponibles en ligne .
tiagotvv
J'appuie la suggestion "Apprendre des données" de Yaser S. Abu-Mostafa. Le livre est très court mais regorge d'informations précieuses. L'accent est en effet mis sur la faisabilité de l'apprentissage et la complexité.
Vladislavs Dovgalecs
7

Vous aimerez probablement Learning With Kernels de Schölkopf et Smola. La plupart des travaux de Schölkopf sont mathématiquement rigoureux.

Cela dit, vous feriez probablement mieux de lire des articles de recherche plutôt que des manuels. Les documents de recherche contiennent des dérivations complètes et des preuves de convergence, des limites sur les performances, etc. qui ne sont souvent pas incluses dans les manuels. Un bon point de départ est le Journal of Machine Learning , qui est très apprécié et entièrement ouvert. Je recommande également les actes de conférences comme ICML , NIPS , COLT et IJCNN .

Peter Mortensen
la source
merci pour les indices avec le journal. Cependant, je crains que les journaux soient, jusqu'à présent, trop avancés pour moi. Néanmoins, cette migration est une source précieuse pour l'avenir.
Quickbeam2k1