对话Quoc Le: 我相信谷歌大脑正在走进第四代机器学习Learning-to-learn

作为 Google Brain 的创始成员，Quoc Le 是一个天生的 AI 才子。2014 年，他利用深度学习技术和自动转换单词的端到端系统推动了机器翻译性能，为谷歌随后在神经机器翻译方面的突破奠定了基础。自 2014 年以来，Le 将目光投向 自动化机器学习 （AutoML）。2016 年，Le 与 Google 研究员合作，发表了开创性论文《Neural Architecture Search with Reinforcement Learning》，该研究推动了 Google Cloud AutoML 的创建，并使 AutoML 迅速成为热门话题。

在这一次的采访对谈中，Quoc Le 为机器之心(Synced) 解读了关于 AutoML 以及 Google Brain 发展进程背后的故事。

（以下为对话原文，机器之心做了不改变原意的整理。）

您觉得 AutoML 在过去一年中取得了哪些进展和突破呢？

首先，据我所知，AutoML 最大的成功是围绕计算机视觉的。最近我做了一个演讲，回顾了计算机视觉领域的一些最新技术，结果发现 ImageNet 数据集中最好的三个或四个模型实际上是由 AutoML 生成的，而 ImageNet 可能是目前计算机视觉领域最难的竞赛之一。我们自动生成的模型已经比人工设计的模型更好了。

您觉得 AutoML 具有什么特别的意义呢？

我认为机器学习的许多应用领域都存在着这样一个真实的现象：NLP 和语音模型都是由人类专家手工调整和设计的，这需要付出很多努力、投入大量时间。AutoML 所做的基本上是能够自动设计模型并且比人类设计的模型更好。虽然你必须进行大量的计算，但是进入循环的人力减少了。这属于其中一个部分，关于架构生成和模型生成。

第二部分是关于数据增强方面。今年我们进行了大量研究，使用机器学习来进行自动化数据处理和数据增强的过程。例如，让模型做得更好的一种方法是丰富你的数据。如果你有一只猫的图像，你相信如果你稍微旋转那个图像，它仍然是一只猫；或者你放大这个图像，它仍然是一只猫，然后你便可以丰富你的数据，这个过程称为数据增强。

这很难。人们多年以来都在全力以赴地做到这一点。我们的项目会自动化这个过程。我们采用一个函数库来获取图像并对其进行处理。例如，它会使图像变亮、变暗或均衡图像，然后选取其中一个函数，让我们在处理该图像的小程序中进行组合从而丰富我们的数据集。当进行了很多计算时，我们就可以自动化该过程，并且非常成功。我们有一篇名为《Improving Deep Learning Performance with AutoAugment 》的论文，对于我们应用的每一个数据集，它都带来了很大的改进，这让我看到了很大的希望。

您能总结一下您在 2018 年的研究和工作吗？

我在过去一年的工作可以划分为不同的垂直领域。我从事计算机视觉、结构数据和 NLP 方面的研究。如果从技术上来分，2018 年我主要关注模型生成和数据生成两方面。

与其他公司相比，您认为 Google Brain 对人工智能的追求有何不同？

也许我可以先告诉你我起初为什么会选择在这类项目上工作。人工智能的发展经历了四代。第一代被称为 Good Old-fashioned AI。Good Old-fashioned AI 意味着你用手工制作一切，什么都不学。第二代是浅层学习。在浅层学习中，你手工制作了一些特征并学习了如何分类。第三代，深度学习，也就是到目前为止很多人都享受其中的。基本上你手工编写算法，但是你学习了这些特征，你学习了预测，端到端，其中涉及了比浅层学习更多的学习。第四代，这是新的东西，也是我现在的工作，我称之为 Learning-to-learn (学会学习)。在这一代，我们应该学习一切。我们应该同时学习架构、数据处理、算法和预测等功能。目前我们正处于第四代的开始，所以在谷歌大脑，我们确实致力于 Learning-to-learn 这个方向。这是 Google Brain 正在研究的众多领域之一。我们的使命是努力建立智能，让生活更美好。因此，我们会确保我们构建的技术可以使很多人受益。因此，我们在游戏 AI 上没有投入太多，但我们在尝试开发技术来改善类似医学成像、自动驾驶这些不同领域的应用效果。最近，Waymo撰写了关于我们在 AutoML 和他们自动驾驶汽车项目合作的博客文章，我们为他们的自动驾驶汽车项目实现了一系列模型的自动化。因此，我们虽倾向于进行早期研究，但我们也非常努力地使我们的技术对用户产生价值。

2019 年您的研究工作重点是什么呢？

就像我说的那样，目前是在 Learning-to-learn 的初期。我相信我们正在进入第四代机器学习，这一代机器学习你不需要做太多，它自己会学到一切。我在架构研究和 AutoML 方面的一些工作还处于初期阶段，因此我将继续扩展并进一步研究如何从端到端学会一切。

2019 年，您对 AutoML 相关技术和应用的发展有何期望？

我认为大多数云平台，或商业云平台将以一种形式或另一种形式运用 AutoML，因为我认为这对最终用户来说会产生很大的影响。可以编写机器学习程序的人实际上非常少，但想要实际使用机器学习的人却非常多。AutoML 是研究人员将其技术实际转移到许多其他公司的绝佳机会，所以我希望很多云公司都会使用 AutoML。在研究中，我认为它将开始获得很大的动力。我已经看过许多来自学术界的那些非常令人兴奋的论文。在 Google 之外，他们在这个领域做了非常有趣的工作，其中一些重要的突破也来自中国。

如果 AutoML 想达到更好的性能表现，目前所遇到的技术挑战是什么？

我认为目前很多 AutoML 的问题仍然是需要在搜索空间中进行一些手工操作。因此，为了让 AutoML 工作，一种方法是搜索所有可能的程序，但这是一个非常大的搜索空间。因此，我们倾向于限制一下，比方说在许多TensorFlow函数中进行搜索等。如果不必花太多时间在搜索空间上，我认为会很棒，这是第一。第二是我们拥有的许多搜索方法仍然有点贵，资源仅适用于大公司。所以你才看到大公司能从这个领域中做出很多非常正确的研究。不过我认为最近已经有一些方法可以使用来自学术界和其他一些看起来非常有希望的公司的高效搜索方法，所以我对此抱有希望。但我认为这是 AutoML 未来需要改进的两个关键部分。

您认为未来还有哪些其他新的技术方向需要探索呢？

在 AutoML 之外，无监督学习的出现让我觉得非常兴奋。我认为无监督学习将释放大量已激活数据的巨大潜力，并且我们在过去几年中已经开始看到很多进展。所以我特别要提出这篇名为BERT的论文，我想很多人都熟悉BERT。我们已经在 Google 上发布了使用预训练语言模型来改进下游应用程序的想法，这非常酷。它建立在早期许多团队的其他非常好的研究之上，它积累到了令人兴奋的模型输入的那一刻，这很酷。我期待看到更多像无监督学习这样的发展，因为它将释放另一种潜力，如未标记的数据。另外，我在设计可扩展模型方面也看到了巨大潜力。这样的模型非常大，你可以利用大量数据，但在同时推理成本却很低。所以我们的想法是你可以训练非常大的模型但是你不需要花费太多的计算来评估这个模型。这也是令人兴奋的另一个方向。

在过去的一年中，人工智能领域出现了包括数据泄漏、人才稀缺、模型偏见、可解释性、执法等方面的问题。您最关心哪一个问题？能否就此问题谈谈您的看法？

预测中的偏见可能是我最担心的事情。我们拥有的许多机器学习模型取决于训练数据。很多时候，由于某种原因，我们似乎对我们的训练数据不够了解。如果预测存在偏见，可能会影响很多人，然而我们似乎没有在这方面取得足够的进展。不过我想我们会取得进展的，因为目前很多研究人员都在积极思考这个问题。

在过去七年中，Google Brain 取得了非凡的成功，很少有其他 AI 研究实验室可以超越。而且您也为TensorFlow、AutoML 和 Google Neural Translate 的开发做出了贡献，所以您能说说 Google Brain 成功将实验室技术应用到产品中的秘诀是什么吗？

首先，其实我们还有很多需要向其他研究实验室学习的地方，他们做得非常棒。至于我们的秘诀，我认为 Google Brain 其中一个独特之处在于，在我们的环境中，研究人员有很多机会与非常优秀的工程师合作。在许多其他研究实验室中，研究人员和工程师往往要么在不同的地方工作，要么在不同的团队中工作，诸如此类。但在 Google Brain 中，这两者能非常好地融合协作。我和非常有才华的工程师一起工作，他们看了我们做的一些研究，然后能找出一种不同的方式，做出比我们最初想要的更好的产品。另一方面是我们的环境非常自下而上。我们办公室的许多研究人员确实对如何应用他们的技术以及应用于什么产品非常有创造力。有时你最终会以非常有创意的方式为你的产品找到你从未见过的应用程序或探索到不同的方向。我认为这些都是 Google Brain 做的非常好的事情。因此，第一个秘诀是要做非常综合的研究模型，将工程和研究结合起来，这也是TensorFlow能够迅速开发和谷歌翻译能够快速启动的原因。第二个秘诀实际上是一个自下而上的研究模型，使工程师和研究者可以找到一种方法来创造性地将他们的技术应用到产品当中。