高效文本标注工具如何成为 NLP 发展的强力助推器？

对于自然语言处理来说，文本标注是非常重要的一环，但是对于大部分文本标注工作来说，人工仍然是主要力量。为了应对这一现状，有不少企业都在专注研发高效的文本标注工具，明略数据就是其中之一。

依靠得天独厚的数据优势，明略数据研发了一款高效的文本标注工具 Raptor。不同于市面上已有的标注工具，Raptor 能够解决行业的诸多痛点，InfoQ 记者有幸在极客邦科技主办的 AICon 2018 全球人工智能与机器学习技术大会上，采访到了来自明略数据的技术中心技术合伙人徐安华老师，同时也是 Raptor 工具的研发负责人，他将亲自揭秘这款 工具 的与众不同之处。

以下是视频采访的全部内容，为方便读者查看，视频下方也附上了文字内容。

InfoQ：感谢徐安华老师参加 AICon 2018 视频采访，首先请您先做下简单的自我介绍，可以包括简单的学习经历与工作经历

徐安华：我是 2004 年考入北京大学计算机系，本科毕业之后，继续在北京大学保送读硕士，硕士的方向是计算机系统结构。

2011 年毕业之后去了英特尔公司，做显卡虚拟化方面的工作。最近在腾讯的云平台发布之后，才听说显卡虚拟化在深度学习的计算资源调度方面发挥作用。当时在我做显卡虚拟化的时间点，这还是一项非常基础的工作，离应用比较远，也比较前沿。当时最主要的工作都是跟操作系统底层相关的，有一些成果后来也被提交到了 Linux 内核里面，我也成为了一个小模块的作者。

在英特尔工作了两年半之后，我跳槽去了爱奇艺工作了一年，然后在同学和朋友的感召之下，2014 年 10 月份，加入了明略数据。当时加入的时候，明略只有 43 个人，发展到今天大概已经超过 550 人。4 年时间，整个公司有了天翻地覆的变化。

InfoQ：您曾经担任过大数据引擎研发工程师，后又转向 NLP 研发，目前又担任数据标注工具的负责人，能否简单介绍下您在这三个领域的工作内容有哪些不同？

徐安华：我刚开始的方向是比较偏操作系统底层，这个方向上的工作需要深刻理解操作系统底层的一些概念，比写应用程序需要考虑的情况要复杂的多，我们需要考虑程序会不会被中断，是不是需要处理抢占，使用哪种锁来进行保护。

后来到了明略数据，开始做大数据引擎开发，主要是大数据引擎 SQL 语言到底下的计算逻辑的部分，我们希望给大数据引擎能够加上一些 SQL 级别的行列级别的权限检查，这个是第二阶段的工作。在做这件事的时候，更多的是依靠原先的知识储备，包括系统级的的落地产品研发能力。

接着我去转行去做 NLP，选择这个领域是思考了很久，从自己工作的经历来看，之前可能更愿意做一款软件，现在我更愿意去尝试一些有挑战的，更前沿的东西。

在转行的过程中，可能唯一需要做的，就是把之前的一些数学基础给捡起来，好在对我来说不困难，因为跟实际工作结合，再去做自然语言处理，入手还是很快的。

InfoQ：文本标注对于 NLP 来说是非常重要的一环，请问明略数据研发这样一款文本标注工具能够解决行业的哪些痛点？

徐安华：首先从行业痛点的角度来说，作为一个对外提供数据挖掘相关工作的公司来说，我们遇到有很多行业内的数据要去处理，不少需需要用到自然语言处理的模型。但是，我们发觉通用的模型真的在这些领域里面非常的不好用，直白一点儿说，很多问题都是凑合着去解决的。

目前来看，从外部去拿一些简单的工具，自己去修改词库，能够解决一些问题，但是我们希望更高质量地去解决这些问题，而不是绕开，我们也希望能把它做成一个产品，能够解决更多行业的问题，我们希望把各种问题能够系统的解决。

InfoQ：能否简单谈一谈 Raptor 工具的研发历程？经历过哪些比较关键的节点？

徐安华：Raptor 这个工具，最开始的定位并不是做一个标注工具。刚开始我们的目标是要做信息的收取，而信息抽取的第一步我们一开始认为在领域内部直接用规则去抽取就可以了。

一年半之前，我们从标注语言 Ratel 入手，但是在这个过程中，我们发现与原先的设想不一样，比如说我们原以为规则能解决很多领域之内的问题，因为它的数据相对规整，但是后面发现，即使有相对规整的数据，当人写的规则太多，维护起来还是会成问题，并没有从本质上去解决这个问题。

所以，后来我们发现：即使是看似规整的数据，依然还是需要通过机器学习去处理，而使用机器学习，就面临着一个挑战：在这个领域之内完全没有可以去用的标注的数据，于是从半年之后我们开始转型，整体去做标注的工具。

在这个过程中，我们除了应用了比较先进的机器学习辅助理念之外，在用户体验上面，我们通过实践也做到了比较好的性能提升，最后我们发现：我们之前做的规则语言 Ratel 并没有浪费，用它来标注数据非常高效实用。也就是直接做信息抽取是不靠谱的，但标注数据还是非常开普的。机器学习相对规则来说，最大的好处是准确率和召回率都有保证，而规则最大的问题是准确率有保证，但是召回率非常的低。所以我们最后把这两者做结合，有了这个工具现在的架构。

InfoQ：据我们了解，文本标注工具也并非是一家独有，有不少企业也都在研发这类工具，与一些同类型的工具相比，Raptor 有哪些优势？

徐安华：我们整体从外部市场调研了一圈，发现给大家分享的可能更多的都是开源的工具。在开源工具里面，现有的一些功能，包括小批量标注数据，虽然也可以使用，但是我们通过自己使用的标注感受来看，这些工具都不太关注实际标注人的体验，标注到后期会非常痛苦。

在这个过程中，我们有非常多的感悟，首先从外部来看，这些工具在使用者能看得见的地方，基本上是没有做到以人为本的优化，除了有一些基础的快捷键之外，这类工具基本上属于不可用状态；另外，这些开源的标注工具，有些过于通用了，随着时代发展，深度学习等一些新的场景出来的时候，它们的标注的功能跟不上现在新模型。另外也有不少公司选择使用大规模的标注数据，这一点我们也在考虑如何进行支持，但跟我们目前希望整体去提升标注效率的出发点不一样。

我们希望从最原始的数据到最终能够交付给客户，提供的服务都是我们自己去完成的，这个整个链条里面所有的步骤，我们都希望说能够做到效率最高，人工成本能尽量的降低。

InfoQ：目前在明略数据有多少标注工作在靠 Raptor 工具，又有多少靠纯人工，Raptor 工具可以节省多少人工的工作量，相比人工标注还存在哪些不足？

徐安华：首先在明略数据内部，我们现在只要跟文本标注所有相关的工作全部都在用 Raptor 这个工具，因为现在我们整个集团公司已经有超过 1500 人，会涉及到广告、舆情、媒体洞察，还会涉及到在公共安全，还有一些金融领域里面的数据标注，只要是文本类的数据标注，基本上整个集团公司都在用。

从效率上来说，传统的工具可能一天标注实体数据只有 50 篇左右，我们的工具一天能达到 500 篇左右，这个数字是有实际测算的。通过各种各样的优化，我们在本质上提升了交付的效率，比方说我们可能只用一个人，花一周的时间就能交付一个相关的文本方面的建模任务。

InfoQ：对于 Raptor 工具在未来的发展有怎样的规划？

徐安华：首先就是标注方面，我们现在更多的还是看中交互上对于个人体验方面的提升，这是最重要的一点；第二点，我们会比较看中它所能支撑的功能，我们现在可以支持重叠书写、多元关系，后面的话，还会支撑一些更加基础的应用，我们力求做到覆盖尽可能广的标注需求；第三点就是怎么去减少人工标注，甚至不标注，这件事情在学术界也一直是一个比较热的一个话题，不同的公司也在做，我们后面也会持续跟进，用一些更好的办法去尽可能少的去不进行人工标注。

InfoQ：最后一个问题，未来工具标注的发展趋势是怎样的？有可能完全替代人工吗？为什么？如果有可能的话，会在什么时候出现？

徐安华：完全替代人工从我目前的认知来看还是不太可能，我们能希望能把这个闭环建立起来。比方说，主要的互联网公司，他们通过用户使用产品做标注。我们也希望能够形成这种闭环，让用户直接在使用的过程中，通过自己的一些调整，就能对这个模型的更新有一个本质上的提升，这样的话，标注这个事情才不是为了标注而标注，我们希望把它维持成一个时时可用的模型。