Manuel sur l'apprentissage par renforcement

12

Je recherche un manuel / des notes de cours en apprentissage par renforcement. J'aime bien l ' "Introduction à l'apprentissage statistique" , mais malheureusement ils ne couvrent pas ce sujet. Je sais qu'un livre de Sutton et Barto est une référence standard, et peut-être que le NDP est également bon, mais ils sont datés de 1997-1998, et j'espérais trouver une exposition plus moderne car ce domaine est susceptible d'avoir un certain développement ces derniers temps. temps.

machine-learning references Ulysse
la source

Réponses:

15

Je pense que Sutton et Barto sont toujours la norme. Il y a beaucoup de jeux de diapositives et de notes de cours d'IA en ligne, mais ils n'entrent généralement pas dans trop de détails.

Sutton et Barto sont un peu vieux, mais ils préparent une 2e édition de leur manuel. Un projet, daté de janvier 2018, est disponible ici ; il est lié à la page Web de Sutton , qui contient également le texte intégral de la première édition.

J'examinerais cela avant d'aborder la prise de décision sous incertitude de Kochenderfer et al . Ce livre a des applications intéressantes (principalement dans l'aviation) mais il se déplace rapidement et rebondit beaucoup. Les algorithmes de Szepesvári pour l'apprentissage par renforcement sont également bons, mais concis - il faut environ vingt pages pour arriver à , contre sept chapitres et 150 pages dans les nouveaux Sutton et Barto.TD (λ)

En dehors de cela, vous pourriez essayer de plonger dans certains articles - les trucs d'apprentissage par renforcement ont tendance à être assez accessibles.

Matt Krause
la source
Merci, j'ai jeté un œil à la nouvelle édition, mais je ne dirais pas qu'elle est bien mise à jour. Je suis toujours intéressé par une exposition plus à jour.
Ulysse
Oui, ce n'est certainement pas une refonte complète, mais rien d'autre ne me vient vraiment à l'esprit à part quelques volumes des "Notes de lecture" de Springer, qui ne sont essentiellement que des collections d'articles. Si vous trouvez autre chose, veuillez publier une mise à jour; J'adorerais le vérifier.
Matt Krause
Je vois, bien sûr que je ferai
Ulysse
1
@CharlieParker, je ne suis pas sûr. Le projet le plus récent (19 juin 2017) semble assez complet et mentionne MIT Press, mais le site MIT Press semble toujours vendre la première édition. Pour ce qu'il vaut, le brouillon provient directement du site Web public des auteurs, il n'est donc pas nécessaire de s'inquiéter de l'utilisation d'une version «divulguée» ou quelque chose du genre.
Matt Krause
1
@Thomas, j'ai mis à jour le lien avec une version plus récente.
Matt Krause
6

Vous voudrez peut-être consulter Algorithms for Reinforcement Learning de Csaba Szepesvári, publié en 2010. PDF téléchargeable sur le site Web. À mon avis, c'est un peu plus technique que Sutton et Barto mais couvre moins de matière.

wij
la source
6

Voici quelques bons manuels / références:

Classique

Sutton RS, Barto AG. Apprentissage par renforcement: une introduction. Cambridge, Mass: A Bradford Book; 1998. 322 p.

Le brouillon de la deuxième édition est disponible gratuitement: https://webdocs.cs.ualberta.ca/~sutton/book/the-book.html

Chapitre 21 de Russell / Norvig:

Russell SJ, Norvig P, Davis E. Intelligence artificielle: une approche moderne. Upper Saddle River, NJ: Prentice Hall; 2010.

Plus technique

Szepesvári C. Algorithmes pour l'apprentissage par renforcement. Conférences de synthèse sur l'intelligence artificielle et l'apprentissage automatique. 2010; 4 (1): 1–103. http://www.ualberta.ca/~szepesva/RLBook.html

Bertsekas DP. Programmation dynamique et contrôle optimal. 4ème édition. Belmont, Mass.: Athena Scientific; 2007. 1270 p. Le chapitre 6, vol 2 est disponible gratuitement: http://web.mit.edu/dimitrib/www/dpchapter.pdf

Pour des développements plus récents

Wiering M, van Otterlo M, éditeurs. Apprentissage par renforcement. Berlin, Heidelberg: Springer Berlin Heidelberg; 2012 Disponible sur: http://link.springer.com/10.1007/978-3-642-27645-3

Kochenderfer MJ, Amato C, Chowdhary G, How JP, Reynolds HJD, Thornton JR, et al. Prise de décision en cas d'incertitude: théorie et application. 1 édition. Cambridge, Massachusetts: The MIT Press; 2015. 352 p.

Apprentissage par renforcement multi-agents

Buşoniu L, Babuška R, BD Schutter. Apprentissage par renforcement multi-agents: un aperçu. Dans: Srinivasan D, Jain LC, éditeurs. Innovations dans les systèmes et applications multi-agents - 1. Springer Berlin Heidelberg; 2010 p. 183-221. Disponible sur: http://link.springer.com/chapter/10.1007/978-3-642-14435-6_7

Schwartz HM. Apprentissage automatique multi-agents: une approche de renforcement. Hoboken, New Jersey: Wiley; 2014.

Vidéos / Cours

Je suggérerais également un cours de David Silver sur YouTube: https://www.youtube.com/playlist?list=PL5X3mDkKaJrL42i_jhE4N-p6E2Ol62Ofa

Juan Leni
la source