前言

强化学习正在改变人类社会的方方面面：基于强化学习的游戏AI已经在围棋、星际争霸等游戏上战胜人类顶尖选手，基于强化学习的控制算法已经运用于机器人、无人机等设备，基于强化学习的交易算法已经部署在金融平台上并取得超额收益。由于同一套强化学习代码在使用同一套参数的情况下能解决多个看起来毫无关联的问题，所以强化学习常被认为是迈向通用人工智能的重要途径。在此诚邀相关专业人士研究强化学习，以立于人工智能的时代之巅。

内容梗概

本书介绍强化学习理论及其Python实现，全书分为三个部分。

·第1章：介绍强化学习的基础知识与环境库Gym的使用，并给出一个完整的编程实例。

·第2～9章：介绍强化学习的理论和算法。采用严谨的数学语言，推导强化学习的基本理论，进而在理论的基础上讲解算法，并为算法提供配套的Python实现。算法的讲解和Python实现逐一对应，覆盖了所有主流的强化学习算法。

·第10～12章：介绍多个综合案例，包括电动游戏、棋盘游戏和自动驾驶。环境部分涵盖Gym库的完整安装和自定义扩展，也包括Gym库以外的环境。算法部分涵盖了《自然》《科学》等权威期刊发表的多个深度强化学习明星算法。

本书特色

本书完整地介绍了主流的强化学习理论。

·全书采用完整的数学体系，各章内容循序渐进，严谨地讲授强化学习的理论基础，主要定理均给出证明过程。基于理论讲解强化学习算法，覆盖了所有主流强化学习算法，包括资格迹等经典算法和深度确定性梯度策略等深度强化学习算法。

·全书采用一致的数学符号，并且与权威强化学习教程（如R.Sutton等的《Reinforce-ment Learning:An Introduction（第2版）》和D.Silver的视频课程）完美兼容。

本书各章均提供Python代码，实战性强。

·全书代码统一规范，基于最新的Python 3.7（兼容Python 3.6）、Gym 0.12和TensorFlow 2（兼容TensorFlow 1）实现强化学习算法。所有代码在Windows、macOS和Linux三大操作系统上均可运行，书中给出了环境的安装和配置方法。

·涉及环境全面。第1～9章提供算法的配套实现，强化学习环境只依赖于Gym的最小安装，使理论学习免受环境安装困扰；第10～12章的综合案例既涵盖Gym库的完整安装和自定义扩展，还包括Gym库以外的环境，让读者体验更加复杂的强化学习任务。

·全书实现对硬件配置要求低。第1～9章代码在没有GPU的计算机上也可运行；第10～12章代码在配置普通GPU的计算机上即可运行。

代码下载和技术支持

本书代码下载地址为：http://github.com/zhiqingxiao/rl-book。笔者会不定期更新代码，以适应软件版本的升级。

在此推荐你加入本书学习交流QQ群：935702193。如果有任何意见、建议或经过网络搜索仍不能解决的问题，可以在QQ群里提问。笔者的邮箱是：xzq.xiaozhiqing@gmail.com。

致谢

在此感谢为本书出版做出贡献的所有工作人员。其中，机械工业出版社的高婧雅女士是本书的责任编辑，她对本书的写作提出了很多建设性意见。同时，还要感谢机械工业出版社的其他编辑为提升本书质量所做的大量工作，与他们合作是一个愉快的过程。我要特别感谢我的父亲肖林进和母亲许丽平，他们也参与了本书的编写。同时，还要感谢我的上级、同事和其他亲友，他们在本书写作期间给予我极大的支持。

感谢你选择本书。祝你学习快乐！