四个方向，十大领域，深扒腾讯优图AI落地心法

智东西（公众号：zhidxcom）

文 | 心缘

智东西9月6日消息，首届计算机视觉峰会在上海举行，由腾讯旗下三大AI实验室之一优图实验室联合国际顶级期刊《科学》（Science）杂志共同举办。众多CV领域顶级专家学者受邀发表主题演讲。

今年，腾讯将优图实验室升级为计算机视觉研发中心。在大会现场，腾讯优图第一次主动发布了最新研究成果及战略布局，包括品牌战略、八大应用场景技术及落地进展，并与《科学》杂志发布战略合作。

在大会期间，智东西与其他媒体对腾讯副总裁梁柱、腾讯优图实验室总经理、杰出科学家贾佳亚、腾讯优图实验室总经理吴运声进行采访，就优图实验室的研究投入、技术落地过程以及和《科学》杂志的合作规划进行交流讨论。

一、汤道生：如何推动计算机视觉的发展？

作为AI最基础和最重要的研究之一，计算机视觉对于人工智能意味着什么？为什么值得重视？以及未来将怎样推动计算机视觉的发展？对此，腾讯高级执行副总裁汤道生谈了三点思考。

第一、计算机视觉领域取得的重要突破可能带来AI大爆发，人脑90%细胞用于处理通过视觉获得的信息，视觉是智慧生物最有效的认知手段，AI将通过计算机视觉认知并协助人类改造世界，无人机、无人车、AI医疗、太空探索等领域正收益于计算机视觉技术的进步。

第二、AI既要在技术上“跑高分”，也要深入“跑场景”。当前计算机视觉、语音识别、自然语义处理、机器学习等几个AI主要分支都已经达到一定原始积累水平。除了在基础能力上跑高分，AI已经在许多垂直领域技术落地，进入到跑场景的时代。

优图是2012年成立，成立六年来，除了做基础技术研发，优图实验室将产品广泛应用到医疗、自动驾驶、零售、办公、社交娱乐、工业、文化、社会公益等领域。

第三、希望AI不仅能看见，还能看得懂，甚至帮助人类看得更远。目前大多数计算机视觉领域的公司主要在做两件事，让机器识别世界和理解世界，在准确度方面大多公司不会有明显差别，而理解方面具有技术挑战性，可能拉开AI公司之间的差距。

腾讯接下来要做的是，基于自学习或半监督、弱监督的学习方式，让机器自动学习和理解自然世界的问题，预测可能发生的事情。

从今年起，腾讯将优图实验室升级为计算机视觉研发中心，加强计算机视觉领域的人才招募、底层技术研发和应用场景探索。

汤道生表示，未来，腾讯将植根在上海发展，通过与深圳、香港和合肥的研究团队形成一个大的开放创新网络，携手更多的科学家和研究机构，并希望能和更多的全球科学家展开合作，进一步提升计算机视觉的技术水平，同时也通过腾讯云的开放平台，将这些前沿技术输出给更多产业上下游的伙伴。

此外，腾讯将通过将优图实验室发展为腾讯计算机视觉研发中心，并通过腾讯云将先进技术共享给更多开发者，以进一步推动计算机领域的发展。

二、让所有技术都能被感受到

腾讯优图实验室总经理、杰出科学家贾佳亚说，在他的记忆里面有没有任何一家公司的技术团队做对外发布会的，优图的发布算是开了先河。

他总结了优图实验室的三个特点：所做的事情能看到目标和结果，所有产品和技术能被感受到，并且今天发布的东西都能被用到。

随后，他介绍了优图实验室在过去一年都如何在业界迅速成长。

1、500项专利申请，服务调用超过3亿次

优图实验室有500项专利的申请，提出超过十个产品解决方案，接入70多条腾讯明星产品的生产线，有超过300多家客户落地，有2亿的人脸面孔墙的沉淀。优图实验室提供给公司内外服务的调用超过3亿次。

2、技术与产业结合，垂直落地多个场景

优图实验室最早进入的领域是在政务、金融、社交娱乐，因为这三个领域里面会涉及到大量的人脸和OCR技术，早期的人脸和OCR是视觉里面最早能够落地的方向。

从去年开始，优图加大投入进入更多的垂直领域，包括交通、运输、广告、零售、教育和信息流，在其中加入图像审核、理解、分割和视频的各种操作以及人脸、身体的重建娱乐化等技术。今年，优图立项医疗和自动驾驶两个新的探索。

3、从研究到落地，建立完整AI体系

建立完整的AI体系是要做很多的事情。前沿探索是基础的事情，上层需要提供视觉硬件，必须有能力去开发和完成视觉的硬件，完成视觉的平台搭建、架构搭建。

而架构搭建决定能否有快速的学习系统、内部自适应的系统，移动端嵌入系统端，服务器端迅速地完成训练、分布和部署。

贾佳亚说，从研究到开发，再到与腾讯社交、腾讯云和腾讯觅影等部门合作，优图的技术对内和对外都会有一个长期的稳定性、持续性的投入和推动。

三、技术总览：四大方向，十个领域

如果将优图做的事情进一步细分，可以概括为以计算机视觉为核心，主攻四大方向的十个领域。

1、工业生产

在“AI+工业生产检测”方面，优图切和华星光电进行合作，建立可复制性工业自动化排检系统，辅助100多道工序检测，帮助减少60%以上质检人数。另外，优图还协同无人机进行电网智能巡检，在一期达到95%的准确率。

基于优图的OCR技术，优图在“AI+办公”也做了大量投入。今年，优图加大对标准化数据的识别过程。目前，优图的OCR技术，内部落地业务100家，外部合作60多家，帮助多个行业提高生产效率和精度。

2、社交娱乐

“AI+社交娱乐”是优图技术广泛应用的一个方向，优图实验室每天有亿级调用率，对内为全民K歌、QQ空间等腾讯应用提供支持，也通过腾讯云对外提供了服务。

优图实验室的3D人脸、人脸分析和人脸编辑等技术依托于天天P图团队、微视团队的产品，实现实时瘦脸、瘦身等功能。优图也在探索人体三维重建，应用到游戏设计和研发中。其FaceKit希望通过弹幕摄像头完成整个脸部追踪和三维重建，实现和iPhone类似的结果。

3、社会进步

在“AI+零售”方面，优图集中火力做了两件事：一个是智能货柜，一个是优Mall智能零售系统。优图智能货柜依托于商品识别，迅速完成商品购买和商家完成供应链的管理，目前线上日均240个订单，最新版本识别率达到99.05%。

优Mall是用于顾客和商家的行为系统分析，帮助商家完成精细化管理，可以实现老顾客进店即识别、个性化推荐、刷脸支付等消费新体验。目前，优Mall和永辉超市、百丽等线下商户均有合作关系。

除了工业，优图也投身于社会公益，比如通过一张幼年照片找回十年后的失踪小孩、帮助福建省公安厅通过优图天眼找回681例失踪人口等。

今年，优图第一次尝试做“AI+文化”。他们和故宫博物院、敦煌博物院合作，在敦煌博物馆做数字设台体系的建立，参与敦煌壁画修复工作，并以壁画AI赋诗等玩法创新文化传承方式。优图还上线了老照片修复上色应用，春节期间每天调用量超过30万次。

4、前沿探索

优图与腾讯的自动驾驶团队合作，一起做了包括道路理解、多模态融合和行为预测、3D点云的理解等道路方面的工作。

贾佳亚介绍道，优图近期在医疗部分投入非常大。优图的医疗AI是与腾讯觅影紧密合作，接入各级医院，辅助医生做肺结核，乳腺癌、宫颈癌筛查，辅助医生更好地诊断，提高癌症的早筛率。

最后，他提到，优图已经将计算机视觉技术在医疗文化、特效、人脸识别和分类领域的应用放在“优图Science”小程序中，大家可以自己感受一下。

四、人才是最大的门槛

当被问及在基础研究的投入情况，腾讯副总裁梁柱表示，最大的投入还是在人力上。无论腾讯优图、AI Lab，还是医疗研发团队，在团队规模和吸引顶级人物方面，腾讯都做了大量投入。

梁柱告诉记者，优图的研发投入重点围绕AI的三大要素来做，即优化数据、加大计算力、招募更好的人才。这一年来，优图实验室在AI尤其是深度学习、机器学习这部分的人力投入非常大，大概有翻倍以上的成长。

“只有人才这部分，这是最大的门槛。”梁柱如是说，计算力可以靠买顶级设备，在数据方面腾讯有多年积累，而另外一个最核心的就是人才。

此外，梁柱称，作为一家科技公司，腾讯会将AI作为基础设施，铺开到整个在腾讯的技术架构的体系里面，使之渗透到每个业务当中。

五、将技术成果迅速落地到腾讯产品中

腾讯优图实验室总经理吴运声强调说，优图实验室和产品团队、落地应用都结合的非常紧密。

比如之前成为爆款的小学生证件照，那些照片是由腾讯的另一个团队天天P图做的，但使用的人脸识别技术则来自优图实验室。当做应用的团队遇到产品层面的需求，就可以反馈到优图的研究团队，优图研究团队会快速迭代支持。

另一个例子是优图的身体检测，梁柱介绍到，这是整个业界第一个应用的，该技术被集成到微视APP中，通过50多个身体关键点的检测，能提供瘦身、瘦肩和长腿的功能。

梁柱表示，和其他人一个很大的差别在于，其他人做一个模型后很长时间看不到结果，而优图强调的就是将所有技术成果如何更好地应用到腾讯的产品中去。

贾佳亚随后补充道，优图的特点就是在短周期、高频率完成技术投入产品的快速迭代。优图有很多自己优化出来的框架，这些框架不会公开，经过中层系统的搭建，他们能迅速完成从模型到上层的产品应用，然后再通过腾讯云、微视等各类需求反过来磨练自己的能力，打通一个循环，形成非常健康的AI团队。

六、合作Science，推动连接与教育

《科学》系列期刊出版人Bill Moran在致辞时介绍了《科学》期刊和腾讯想要实现的目标：一是加强科学家、工程师和公众之间的沟通；二是促进和维护科学及应用，加强和支持科学应用相关会议，为科学发言提供渠道；三是促进科学国际合作。

他表示，《科学》美国版最大的合作来源是中国。对于中国研究人员来说，如果在期刊上发表论文，把头脑中的东西用另一种语言写出来非常不容易，他们愿意帮助青年学生交流和发稿，并鼓励更多年轻人投身于AI专业的学习和事业。

在采访中，贾佳亚对双方合作的目的做了进一步补充，他认为双方合作主要有两个作用，即应用和连接。作为一个既承担研发任务，又做场景解决问题的研究团队，优图实验室想为中国科研人员引入和全球最好期刊的联系，帮助他们更加了解前沿科学的发展。

另外，通过与《科学》合作，优图希望将其视觉技术带给各个领域的研究人员，通过开放成熟的技术、模型、架构或平台，帮助各个领域的学者完成教学或研究任务，使中国AI进入最前沿的各学科的研究过程之中。

贾佳亚表示，目前全球没有第二家公司在做这件事情。

结语：落地应用是体现技术价值的有效路径

对于学术界而言，准确率、误差等数据是评判一个算法好坏的关键。但对于实际应用而言，人们可能不那么在乎这个技术能达到怎样高度的数值，而更在乎它能用在哪里、它能带来什么。

优图实验室能将其前沿技术如此快速地应用到腾讯的多个产品，在多个领域获得落地成果，这与腾讯内部的协调与整合关系密切，也对其他以AI技术为核心业务的企业有一定借鉴意义。

从优图列数的计算机视觉技术的落地场景，我们可以发现AI在感知领域已经全面入侵我们的生活，正如汤道生所言，下一步我们期待的，是在AI的认知领域看见有领跑的团队。