微软剑桥研究院院长Christopher Bishop：机器学习的基础是什么？

人工智能和机器学习的发展比人们想象的要慢得多也快得多。人们主观地认为，这两个领域在很长一段时间没有进展，突然又在一夜之间取得突破。但实际上，人工智能和机器学习正经历着相对稳定且积极的发展。在某些领域特别是多层神经网络（即深度学习）领域，一些理论已经存在了很长时间，而最新的研究进展提升了这些理论的准确度和性能，在例如语音识别和图像识别等方面彰显出巨大的实用价值。机器学习有很大潜力，也得到了充分的重视——人们对机器学习的关注度和兴奋度空前高涨，研究人员只能不断推动技术的进步以满足人们的期望。

现代观念下的机器学习

机器学习研究领域有一个我很喜欢的理论，叫做“没有免费的午餐定理”。它的大意是对于应用机器学习方法去解决问题，在没有实际背景条件下，不同算法之间并没有优劣之分，换句话说，并不存在一种能解决所有问题的机器学习通用算法。或许确实存在某些算法，它们对于现实世界中可能遇到的各种类型的问题都能给出不错的解决方案，例如，深层神经网络等技术就有可能很通用，但是“没有免费午餐定理”也告诉我们不能仅从数据中学习，而要在特定背景下学习数据，这些模型或假设情境中的数据才是机器学习的关键。假设取决于你正在解决的特定问题，这也就意味着我们不是要探寻能够解决所有问题的唯一通用算法，而是要针对特定问题，找到最合适的技术。

对不确定性进行量化是机器学习的基础，我把它称为“现代观念下的机器学习”。传统上，我们认为机器学习模型是一种函数，将它与某些数据进行拟合从而进行预测，就像借助数据拟合曲线一样。在此过程中，你要不断调整参数设置，使神经网络能在训练集上得到正确结果，并在测试集上也有同样的效果。从更广泛意义上理解，机器学习真正的过程就是机器对这个世界进行建模，这个模型对不确定性进行量化，不确定性的积分就是概率。因此，机器是建立在概率的基础之上的，它对世界的理解本身就包含着不确定性。但是，随着它“看”到的数据越来越多，这种不确定性通常会降低，换句话说，机器从数据中学到了一些东西。这一思想在“贝叶斯定理”这一优雅的数学理论中得到了体现，因此，我认为贝叶斯定理，以及“通过概率量化不确定性”的思路，正是机器学习的基石。

这种“基于模型的机器学习”借鉴先验知识、领域知识的想法，是机器学习领域非常重要的问题。不要把它看作一种特定技术，而要将其视为一种观点，一种理解机器学习的方法。不妨想象一下，你是机器学习领域的一名新手。你发现这个领域已经发表过成千上万篇论文，包含成百上千种名称各异的算法，你仿佛在大海上漂流却没带指南针。你需要阅读所有这些文件，并且全部理解它们吗？如果想解决实际问题却不太熟悉其中所需的全部技术该怎么办？你可以采用这种“基于模型”的思想：思考你的机器学习解决方案中的假设并用明晰的语句写下来，然后将这些假设转化为模型。但这个模型只是你的假设的数学表达，接下来将模型与数据相结合，运行这个模型，机器就会自动学习。如果你做出了很好的假设，机器就能够非常有效地从数据中学习，从数据中提取到更多信息。但同时，如果你做出一个错误的假设，那么机器不仅会做出错误的预测，而且可能非常坚持这些错误预测，因此要十分小心。

微软剑桥研究院院长Christopher Bishop

人工智能革命

我们正处于许多人所说的“人工智能革命”过程中，人们对此感到兴奋并开始炒作这个概念。而对我来说，人工智能是一个宏伟的愿望，是一个产生并不断改进媲美人类智慧的超长期目标，我们还有很长的路要走。那么人们对人工智能的看法是不是不合时宜的或高兴得太早？炒作出来的泡沫是否迟早会破灭？我的回答是否定的。

近些年确实发生了一些深刻的转型事件，不过它不是与人工智能有关，而与我们创造新技术的方法革命有关。类比硬件的发展：人们需要硬件和软件来构建新技术，在硬件方面，例如作为硬件的计算机，多年来变得更快、更好也更便宜，然而，这种进步并不是线性的。在“光刻”技术发明以前，计算机一直处于平稳发展的状态，光刻技术让我们得以“印刷”晶体管，我们不再需要制造单个组件然后组装，而是将整个电路一次性地“印刷”在硅片上。这项发明的影响是深刻的，因为它让硬件发展速度跃升到指数级，这就是著名的“摩尔定律”。这之后才有以下事情的发生：微软公司的创立，把超级计算机装进口袋等等。因此，在所谓的人工智能革命（实质是机器学习革命）中，软件的发展历程也会出现一个类似的“奇点时刻”。

我们不妨回顾一下软件的起源。世界上第一位软件开发者Ada Lovelace在为巴贝奇（Babbage）分析机写软件时必须准确指出每一个步骤。时至今日，软件开发者的工作方式也没什么两样，他们仍须告诉机器如何解决问题，只是工作效率更高，但制约其发展的瓶颈就在于人类智慧的缺失。然而，如果借助机器学习，我们将获得一种完全不同的软件编写方式：我们不再需要通过对机器编程来解决问题，而是让它们能够学习，然后用数据对它进行训练。

目前，制约其进步的因素是数据，这也是机器学习的动力。我们编写机器学习算法让计算机可以从经验中学习，现在，我们用数据对机器进行训练。如今世界上数据量的增长速度已经达到了指数级别，事实上，它每隔几年就会翻一番。随着对城市的监测，随着物联网的普及，随着我们对自身了解的深入，随着我们收集到越来越多的数据，这个趋势还将持续很长一段时间，而这一切都将成为机器学习革命的动力源泉。这也就是为什么我会认为有关人工智能的炒作并非不正确，只是为时过早。真正令人兴奋的是，未来几年我们创造新技术的能力将呈指数级增长，这种能力并非是通过对机器进行编程，而是通过让机器学会学习。

机器学习带来的挑战

如今，我们坐拥前所未有的计算能力、庞大的数据集和复杂的算法。计算机科学的研究人员开始意识到，有些问题并非仅仅依靠计算机科学家就能解决的，而这只是过去30年来这一领域的众多变革之一。在我从事机器学习研究的最初25年间，我们的目标是降低错误率，提升算法性能。如今，错误率已被降低，高精度算法正在解决现实世界中存在的问题，并拥有越来越多的应用前景，但是与此同时，我们也不得不考虑将这些算法付诸现实之后所催生的新问题。

首先，产品的终端用户获得某种体验，却不想直接与算法打交道，这就需要能够营造某种用户体验的用户界面，因此，聘请能够设计用户体验的设计师就显得很重要。同时，还需要社会科学家，理解人们是如何使用技术的。我们还需要考虑针对AI的恶意攻击，以及如何防御这些攻击。我们需要考虑如何利用普通终端用户可以理解的语言对问题加以解释。以及如何让来自不同领域的人们共同工作——他们通常来自迥异的文化、熟悉不同的语言并使用各自的术语，但是如果真的想解决问题，他们必须和衷共济。

很多人都在谈论关于偏见、公平性和透明度等话题，但我认为我们无需担心。关注这些问题固然非常重要，但好在人们一直在探讨这些问题，许多非常聪明的研究人员也正努力破解这个问题。对此我并不是很担心，这并非因为这些问题不棘手或者不重要，但是至少我们已经认识到了它们的存在，正在探讨和研究它们，并且已经取得了进展。

如果说有什么关于机器学习和人工智能的问题让我夜不能寐，那就是技术探索和发展过程中遇到的障碍——也许是关于偏见，隐私，或者安全。有一些事情会让我们对机器学习技术冷眼相向，甚至不惜放弃技术可能带来的机会——就医疗保健领域，在未来几十年乃至几个世纪里，人工智能将能够切实改善人们的生活，拯救无数生命。所以，在我们小心地讨论技术所带来的各种挑战和风险时，也不能忽视其中蕴含的巨大潜在利益，这样才能在二者之间找到平衡。