机器学习算法易受攻击？阿里“安全基建”这样应对AI的不安全

出品 | AI科技大本营（ID:rgznai100）

数字基建的浪潮之下，诸多行业领域都在加速融合5G、大数据中心、AI等新技术，向数字化转型。近日，多位全国政协委员、院士和安全行业专家提出，应尽快出台安全基建国家标准，让数字化程度高、安全技术能力强的企业充分发挥作用，把它们在不同应用场景中沉淀的安全能力推广应用。

今年3月底，阿里发布了数字基建新一代安全架构，其核心理念就是安全基建。安全基建主打事前、事中的建设防护，目的是为各类App和网站等数字经济实体的搭建过程建立标准化流程，确保数字经济实体在建设之初就运行在较高安全基线上。

阿里安全首席架构师钱磊介绍， 安全基建概念的提出，解决的是数字经济实体搭建的“安全施工标准”问题，内容涵盖软件供应链安全、技术和业务漏洞检测、隐私与内容风险检测、应用可信等多个维度。

如果说，强调生产要素标准化的安全基建层，是让数字经济实体具备了免疫能力。安全运营层则通过决策引擎，让风险从事后发觉处置走向了事前的态势感知。以风控分析师、安全策略师和风险运营师为代表的安全专家，通过海量数据分析，寻找规律并定义策略，从多个维度感知对抗威胁，并进行应急响应。

安全技术层是整个安全体系的基石。由攻防技术、数据安全技术、密码学、算法等安全技术构建的安全技术矩阵，是新一代安全架构的能力“底座”。

这里就不得不提到技术效率的问题。在钱磊看来，安全发展到最后，其实是一个效率问题。“ 即便是什么都能做，但是假如一整套安全模型走下来，需要10分钟，那么这个安全体系同样是垃圾。 ”

“我们可以把网络空间安全建设比喻成修建城墙。城墙是为了抵御外敌，但城门则是为了让人们顺畅同行。在进入城门的人群知中，如何识别潜伏在好人中的坏人，如何去识别坏人，这就是安全算法层面要解决的问题，只有不断的沉淀精准识别模型算法，才能真正的提高技术效率，做到让好人一路绿灯让坏人寸步难行。”

安全AI技术作为安全技术矩阵中的一环，显然就是提高“城门通行效率”的核心能力。

去年12月，阿里安全提出“安全AI”概念，指出安全和AI是互相促进的有机体。一方面，AI技术应用在安全领域，可以让安全能力更智能；另一方面，安全技术应用在AI领域，可以让AI能力更可靠。阿里安全认为，安全技术在经历了专家运营阶段、数据智能阶段后，已经迎来的安全AI阶段。在安全AI阶段，更多的安全识别、决策、处置等关键动作将主要依靠AI来实现。

要想让AI安全地“卖力”，技术人需要付出巨大努力。不容忽视的一个关键问题是，如何解决AI算法模型鲁棒性不足、易受攻击的特性？

目前，阿里安全正在做的是， 主动挖掘机器学习算法的安全漏洞，以期构建更加安全和可信的AI系统，并发展新的机器学习算法，逐步将AI的安全问题体系化、标准化。

当然，阿里安全并不是独自在战斗。来自全球的庞大开发者群体也在用各种方式协同作战，来提升机器学习算法的安全性和可靠性。

为了发现AI领域中目标检测模型的脆弱性、为此领域的工作者敲响警钟。近期，阿里启动了安全AI挑战者计划第四期，是全球首个结合黑盒白盒场景，针对多种目标检测模型的对抗攻击竞赛。

与前三期重在算法领域深耕不同，新一期计划实现AI算法和网络安全的融合，打破行业ML/DL一家独大的情况，引领AI技术在落地时一定程度上结合传统技术，运用多种技术组合解决业务问题，更好的抵御深度学习时代的安全问题。

据介绍，比赛采用COCO数据集，其中包含20类物体。任务是通过向原始图像中添加对抗补丁（adversarial patch）的方式，使得典型的目标检测模型不能够检测到图像中的物体，绕过目标定位。

为了更好的评价选手的攻击效果，大赛创造了全新的得分计算准则。除了加入攻击成功率之外，我们还对添加补丁的数量和大小进行了约束。选手添加的补丁数量、修改的像素和模型识别到的包围盒越少，则代表攻击更加成功，得分则越高。为了保证比赛难度，大赛选取了4个近期的State-of-the-art检测模型作为攻击目标，包括两个白盒模型——YOLO v4和Faster RCNN和另外两个未知的黑盒模型。

从技术难度看，目标检测攻击要求对目标的类别、未知等信息同时进行攻击，问题的复杂度更高也更有挑战；另外，本次竞赛采用了全新的设定，允许参赛这通过多块patch对目标进行攻击，进一步提高了问题的挑战性。此外，也鼓励参赛者能够发挥自己的创造性，提出有价值的解决方案。

总之，他们希望从实际业务出发，通过场景、技术、数据、算力、经验等支持，帮助更多的安全爱好者在数字基建浪潮的多元复杂场景中得到磨练，具备真正的安全能力。

最后放出大赛链接，感兴趣的开发者可以报名： http://suo.im/6cVz5w

推荐阅读

• 吊打一切：YOLOv4的tricks汇总

• 解读TF、PaddlePaddle、天元等AI框架，你想知道的都在这里了

• Python 编程语言的核心是什么？

• CSDN 创始人蒋涛：开源吞噬世界，得开发者得天下

• “自由主义教皇” 、 Linux 之父的封神之路

• 以太坊2.0究竟何时落地？V神这样说……

你点的每个“在看”，我都认真当成了AI