AI大战燃至苏州！AIIA公布AI芯片测试、智能音箱评级、深度学习选型三大规范方案

智东西（公众号：zhidxcom）

文 | 心缘

智东西10月15日苏州报道，今天，地方AI大战再添新成员！由中国人工智能产业发展联盟（AIIA）主办、国家发展和改革委员会高技术司支持、苏州工业园区管理委员会支持的2018 AIIA人工智能开发者大会（2018 Artificial Intelligence Developer Conference）在苏州举行。

在本次大会上，中国人工智能产业发展联盟（AIIA）公布了四大核心信息，分别是：

1、推出AI芯片评估系统“AIIA DNN benchmark”；

2、公布小米、百度、阿里等智能音箱的智能化评级结果；

3、推出《深度学习技术选型白皮书》，为企业AI框架选型参考；

4、成立中国人工智能与机器人产业融合发展委员会。

此外，在下午的主论坛上，2018年 AIIA 杯巡回赛闭幕仪式在开发者大会上举行，来自航天科工、百度、国家电网、中国联通、浙江大学附属第一医院的代表分别介绍了该巡回赛成果。颁奖典礼结束后，赛事主办方启动了 2019 年 AIIA 杯人工智能巡回赛， 2019 年中国人工智能 + 医疗大赛、 2019 年中国人工智能 +5G 网络应用大赛也同期启动。

一、AIIA DNN benchmark“从芯”测试：提供评价AI芯片的统一评估方案

AIIA在本次大会发布AI端侧芯片基准测试评估方案——AIIA DNN benchmarks“从芯”测试。该方案提供对不同场景下的时间、功耗三类指标进行评测方法，针对每个指标给出评测结果，最后由中国信息通信研究院产出评估报告。该评估方案会面相企业征集实际应用场景，并对评估方案进行版本更行。

随着AI技术和应用的迅速发展，深度学习对终端智能芯片的加速计算能力提出更多需求。除了提升性能，AI芯片也逐渐专注于特殊场景优化，越来越火热的AI芯片市场需要一个能统一衡量AI芯片的评估方案。

全球多个机构都针对DNN Processor benchmark尝试给出评测方案，比如像由各大领先的科技公司和大学组成的团队mlperf，阿里上个月在云栖大会上发布的AI matrix，寒武纪的benchip，以及百度的deepbench等。不过，当前DNN Processor benchmark还没有公认的基准测试方法和指标。

AIIA DNN benchmarks即是针对上述需求，希望客观反映当前终端AI加速器能力现状，所有指标都旨在提供客观比对维度，为应用企业提供选型参考，为芯片企业提供第三方评测结果。

Benchmark评测思路将首先按承担的任务来分为训练与推断，推断测按部署的位置又分为终端和云端。评测将从应用场景、评测数据、深度学习模型、评测指标来展开。

V0.5版本的基于真实场景的端侧benchmark评估方案提供2种评测方案，涉及3类指标和4大应用场景。

2种方案即通用芯片的AI能力评估和定制化芯片的AI能力评估。通用芯片的AI能力评估，是在指定场景、数据集、网络模型、框架的评测。而定制化芯片的AI能力评估将更加关注AI 芯片对于特殊场景的优化能力，如安防、自动驾驶、智能音箱等。

3类指标分别为时间、性能评价指标以及功耗。4类应用场景分别为图片分类、目标检测、语音识别、超分辨率。

后续AIIA DNN benchmarks将针对评测应用场景、评测指标等做版本迭代，并开展云端推断以及训练任务的评估方案工作。

二、智能音箱智能化评级：首轮评估百度小米产品被评为中级智能

从去年10月起，AIIA组织起草《人工智能产品智能化等级指标要求和评估方法第 1 部分：智能音箱》，小米、百度、猎户星空、灵隆科技、腾讯、阿里、喜马拉雅、思必驰、出门问问、云知声、联想、联通、声智科技等十余家公司参与研讨，经过五次研讨会反复讨论后，今年7月，中国人工智能产业发展联盟组织首次发布该评估规范。

智能音箱智能化的等级和安全防护能力评测包含两大类指标，包括12项材料检查和技术测试。从基本信息和安全信息审查、语音唤醒准确率、误唤醒率、语音识别能力、智能交互能力、技能领域、响应速度、安全防护等。

在评估规范中，智能音箱智能化程度一共分为六个等级：无智能、自动化、初级智能、中级智能、高级智能、完全智能。2018年8月开始首轮试评估征集，共有6家企业参与。经过技术测试、企业答辩、专家评审会评分，百度的小度智能音箱、猎户星空的小豹AI音箱、灵隆科技的京东叮咚mini2、喜马拉雅的小雅AI音箱、小米的小米AI音箱共5家公司的产品获得中级智能的证书。

首轮试评估结束后，AIIA会在今年11月启动第二轮评估，并组织相关企业开展评估规范制定完善工作。

三、《深度学习技术选型白皮书》：为企业提供深度学习开源框架选型参考

在大会上，AIIA还发布了《深度学习技术选型白皮书》。软件框架是AI技术体系的核心，对实现AI算法封装、数据调用以及计算资源调度使用起到承接作用。

该白皮书从企业需求出发，为企业应用深度学习技术开展业务提出以开源框架为技术核心的服务及产品选型考虑及指标，帮助企业选择适合的深度学习训练及推断软件框架技术。

其主要内容从深度学习训练框架、推断框架和技术生态 工具 集三个维度系统梳理总结了基于开源的深度学习技术体系，结合企业自身业务需求，分析技术选型因素，并提出选型指标体系。此外，白皮书还对软件框架目前存在的问题及技术发展趋势进行研判。

后续该白皮书成果将定期更新发布，《深度学习技术选型评估规范》的制定和相关评测工作将陆续展开。

结语：AI行业亟待通用评估标准

随着AI技术迅速在产业界大范围落地，无论是底层的芯片、软件框架还是最终打造的产品，都亟待一些公开规范性的专业评估标准。此次发布的由AIIA牵头、多家企业协助支持的三项AI热门领域的相关评估方案，有助于推动AI行业规范化，使AI在产业中更加良性健康的持续发展。