DeepMind推出深度学习与强化学习进阶课程（附视频）

在 OpenAI推出强化学习课程 Spinning Up 后不久。昨天，DeepMind与 UCL 合作推出了一门深度学习与强化学习进阶课程，以在线视频形式呈现。该课程共有 18 节课，每节课都长达 1 小时 40 分钟，内容从深度学习框架 TensoFlow 的介绍到构建游戏智能体，可谓全面。

课程地址：https://www.youtube.com/playlist?list=PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs

该课程最初在伦敦大学学院（UCL）进行，为方便在线观看进行了录像。多位DeepMind的研究人员、UCL 教师参与了课程的设计。

参与课程制作的DeepMind/UCL 团队

课程由两部分组成，一是包含 深度神经网络 的机器学习，二是利用强化学习进行预测和控制，两个部分相互穿插。在探讨深度学习的过程中，这两条线交汇在一起，其中的 深度神经网络 被训练为强化学习背景下的函数逼近器。

课程中的深度学习部分首先介绍了神经网络及使用TensorFlow 的监督学习，接下来探讨了卷积神经网络、循环神经网络、端到端及基于能量的学习、优化方法、无监督学习、注意力及记忆。涉及的应用领域包括目标识别和自然语言处理。

第一课视频截图

深度强化学习部分介绍了马尔科夫决策过程、 动态规划 、无模型预测与控制、值函数近似、策略梯度方法、学习与规划整合、探索/利用困境等。涉及的应用领域包括学习玩经典棋盘游戏或电子游戏等。

第一课视频：

从第一课来看，本课程将讲解DeepMind的 AI 方法，深度强化学习在雅达利、AIphaGo 等游戏中的应用。

课程目录

深度学习1：基于机器学习的人工智能简介

深度学习2：TensorFlow 简介

深度学习3：神经网络基础

强化学习1：强化学习简介

强化学习2：探索和利用

强化学习3：马尔科夫决策过程及 动态规划

强化学习4：无模型预测与控制

深度学习4：图像识别之外、端到端学习、嵌入

强化学习5：函数逼近及深度强化学习

强化学习6：策略梯度及 Actor Critic 算法

深度学习5：用于机器学习的优化

强化学习7：规划与模型

深度学习6：用于自然语言处理的深度学习

强化学习8：深度强化学习进阶主题

深度学习7：深度学习中的注意力与记忆

强化学习9：深度强化学习智能体概览

深度学习8：无监督学习和生成模型

强化学习10：经典游戏案例学习

课程门槛

当然，这样一门进阶课程也是有一定门槛的。授课者提到，去年就有很多人抱怨课程负担太重。选这门课程的人需要懂 Python，还要有很多其他知识储备。另外，由于授课者都是活跃在学界的顶级研究者，课程会直接延伸到当前的研究前沿。

教师寄语：做好准备，迎接挑战！（brace yourselves！）