聊天机器人已死，为什么腾讯还要打造自己的智能客服？

AI前线导读：Facebook Messenger主管David Marcus在2015年8月宣布Facebook推出虚拟助理M，是Messenger内的个人虚拟助理，可以完成一些简单任务并代用户查找信息，由AI驱动，接受人们的训练和监督。当初Facebook推出虚拟助理M的野心很大，想把M打造成能够完成线上到线下服务闭环，使Facebook直接成为实物和电商入口的O2O项目。但是，2018年1月19日Facebook宣布关闭虚拟助理M，这个曾被寄予厚望的虚拟助理只短暂地运营了不到三年。智能客服/问答产品的市场竞争一直非常激烈，不只大公司在做自己的智能客服产品，很多初创公司也尝试在不同的垂直领域开发智能客服产品。但竞争激烈的同时，也有不少产品最终走向失败，Facebook的虚拟助理M并非特例，以至一度有评论认为聊天机器人已死。

在Reddit上，关于NLP技术突破的问题也曾引起热烈讨论，有人认为，NLP领域的突破状况令人失望，人们研究的热点纷纷转向了GAN 和强化学习。另有观点认为“近年来NLP在技术和商业化上少有实质性突破进展”。

在如此市场形势下，腾讯为什么还要花费近一年时间打造腾讯小知这款智能客服产品？产品应用进展如何？9月16日，由AICUG人工智能技术社区、Datafun社区、博学主办的2018 AI先行者大会将于杭州召开，届时腾讯数据平台部算法高级研究员陈松坚将发表主题为“庖丁解牛：智能客服的问题分解和解决思路”的演讲，InfoQ受邀参加大会并有幸提前采访了陈松坚老师，谈谈智能客服/问答产品和NLP技术的技术难点、解决思路、商业化落地的途径和未来发展。

腾讯小知是什么？

Info Q：请先介绍一下腾讯小知这款智能客服产品，它有什么技术特点？腾讯小知是什么时候开始研发和真正落地应用的？目前主要在哪些场景有实际落地应用（腾讯内部和对外），能否分别举几个例子说明（包括落地的效果）？

InfoQ：智能客服/问答产品的市场竞争非常激烈，不只大公司在做自己的智能客服产品，很多初创公司也尝试在不同的垂直领域开发智能客服产品。在这种情况下，为什么腾讯还要做一款自己的智能客服产品？开发这款产品想要解决什么样的痛点？

陈松坚：一方面是看到了这个市场的潜力仍然未真正地被开发，尤其是某些垂类下布局相对还比较空白，存在成长空间。比如我们最早打的政务行业。另外，行业无论从技术上还是业务上都远未达到成熟的状态，目前来看还是“百家争鸣”的阶段。第三，经济下行趋势明显，企业“火烧眼眉”之下降低成本成为第一刚需，此时，谁能做出使用便利，问答准确的问答机器人，就会有很大的机会。

InfoQ：小知和市面上其他智能客服产品有什么不同之处？优势是什么？

陈松坚：相比市面上其他智能客服产品，小知绝对属于晚辈了。 后发者的优势往往在于客户经过市场充分教育后，其痛点进一步明确，可以更精确地把握客户的需求。 技术优势上面已经提到了，主要是结合深度学习和知识图谱的问答技术，非技术的优势主要体现在我们打造了完整的数据闭环，一方面是在系统上将问答库后台和标注后台进行了打通，另一方面配备了大量熟练的标注团队能够胜任各个行业的问题标注工作。

智能客服产品开发和落地有通用的解法吗？

InfoQ：智能客服产品目前存在哪些技术和非技术的难点？能够分解为哪几部分问题？

陈松坚：智能客服是非常综合的AI系统，几乎涉及NLP领域所有技术点，甚至还包括语音和图像的处理。但从需求上来讲，可以分为三个板块: 1.如何学习知识  2.如何问答  3.如何持续学习。

其中第1点关注点和难点在于如何自动构建知识库（包括但不限于问答库、知识图谱、领域词表等）。第2点重点关注和解决用户问题的意图识别，答案选择以及如何结合上下文进行多轮交互。第3点则是持续运营的需要，涉及的挑战包括未知问题识别，知识的自动更新和补充。

非技术的难点主要体现在项目推进的过程中如何控制客户的期望，避免需求失控。

InfoQ：这些问题是否有通用的解法？分别有什么解决思路？

陈松坚：要具体问题具体分析，比如领域词典生成，未知问题识别等可以做到跨领域通用，但是意图识别，多轮对话则由于不同领域下的问答形式不同，关注重点不同，存在一定的差异。比如问答可以通过问句匹配来解，也可以通过阅读理解技术直接从篇章中抽取答案，也可以基于结构数据库来获取。我们的系统整合所有的解决方案，然后根据实际的需求灵活配置。

NLP技术落地到底有多难？

InfoQ：从您的角度来看，NLP技术（及产品落地）的发展和演进可以分为哪几个阶段？当前处于什么阶段？封闭领域的智能问答有没有可能突破到更开放的领域？

陈松坚：从大的范畴上看，NLP技术的发展可以分为三个阶段，第一阶段从上世纪50年代到80年代，以语言学和规则为内核，主要靠语言学家设计的语法规则来解决问题，此时的人工智能也主要做的是推理方面的研究；而80年代之后，随着计算机算力增强和数据逐步得到收集，统计学派逐渐占据了主流，NLP也进入了第二阶段，即以传统机器学习模型为核心，凭借最大熵，CRF，LDA等原理优雅的模型，在语音识别，文本挖掘等一系列的任务中取得优秀的效果，在这个背景下各种NLP应用如语音识别，翻译，文章主题挖掘等被广泛落地；第三阶段就是目前所在的深度学习阶段，其实其本质上还是统计学派，即经验归纳的思想，但区别于传统的NLP模型，深度学习模型能够对语言单元（字词）进行向量编码，然后结合各种网络结构（尤其是RNN及其变种完美匹配语言的时序建模要求）进行表示学习（其实也是特征提取的过程），明显降低了各种NLP应用，如语音识别，翻译等的错误率，进一步提升了NLP应用的实用率。

封闭领域和开放领域的智能问答其实各有难点，并不见得是进而达之的关系。封闭领域的难点是训练语料少，模型容易过拟合，但是问题相对集中，也可以利用一些领域特性作为先验知识；开放领域则相反，难点是问题发散，需要构建庞大的通用知识图谱，但是语料充足，采用的方法腾挪空间较大，比如斯坦福的基于wikipedia做的通用问答项目DrQA，用到的就是阅读理解的技术。

InfoQ：之前有很多公司的智能问答/客服产品都失败了，甚至一度有评论称智能客服已死，您怎么看待这一情况（参考报道： http://www.infoq.com/cn/news/2018/01/facebook-m-chatbot ）？在Reddit上，关于NLP技术突破的问题也曾引起热烈讨论，有人认为，NLP领域的突破状况有些令人失望，人们研究的热点纷纷转向了GAN 和强化学习。有观点认为“近年来NLP技术在技术和商业化上少有实质性突破进展”，这是否符合您在行业中看到的情况？在您看来，NLP技术在商业化或落地方面的进展是成功还是失败，为什么？当前NLP技术在技术和商业化上分别面临怎样的瓶颈？突破困境的关键是什么？

陈松坚：我们对技术往往短期期望过高，而长期期望过低。NLP在进入深度学习阶段之后模型的泛化能力得到大幅提升，但是本质上依然是拟合经验数据的思路，也就是说我们现在的机器人非常善于归纳，但推理能力、对知识和常识的利用能力很弱。但是我们同时还是要看到，近年来NLP应用，尤其是翻译，写作，对话机器人等，在模型增强和知识图谱建设完善的过程中，在特定的场景下，满足了大部分人的使用需求，这是要肯定的。常说NLP是人工智能皇冠上的明珠，其难点就在于语言是思维的外化，我们现在的做法是利用上下文环境，从外部进行建模，而缺少对内部（思维）的研究。而外部建模的方法要求海量的标注语料进行训练（不同任务的标注不一样），代价太大，这是瓶颈之一。另外无法对知识和常识进行表示，无法进行有效推理，这是瓶颈之二。我个人认为突破点在于利用深度学习模型进行知识表示和关系表示，并融入到原模型中求解。这个方向已经有一些企业如google/ deepmind在探索，我们非常期待加入到摘取明珠的战役中。

InfoQ：您认为未来NLP技术在哪些场景下有较大的商业化应用潜力？

陈松坚：上面提到的翻译、对话、写作会有。更具体的说，基于翻译的智能硬件，基于对话机器人的智能客服，家居/车载/个人助理等垂类机器人，以及写作机器人在即时新闻，专业文书写作上的应用。

采访嘉宾

陈松坚，腾讯数据平台部算法高级研究员，8年NLP研发经验，此前就职于雅虎北京研究院从事内容推荐算法的研究；2017年加入腾讯TEG数据平台部，负责智能客服产品腾讯小知的算法规划和落地。负责过多个智能客服项目，对封闭领域的智能问答有丰富的实战经验。