预防 AI 被误导,IBM 开源检测模型及对抗攻击工具箱

栏目: IT资讯 · 发布时间: 6年前

内容简介:为了防止 AI 模型受误导产生错误的判断,研究人员需要经过不断的模拟攻击来确保 AI 模型不会受到欺骗。IBM 研究团队近日开源了检测模型及对抗攻击的工具箱 Adversarial Robustness Toolbox,来协助开发人员加强针...

为了防止 AI 模型受误导产生错误的判断,研究人员需要经过不断的模拟攻击来确保 AI 模型不会受到欺骗。IBM 研究团队近日开源了检测模型及对抗攻击的 工具Adversarial Robustness Toolbox,来协助开发人员加强针对深度神经网路攻击的防御性,让 AI 系统变得更加安全。

预防 AI 被误导,IBM 开源检测模型及对抗攻击工具箱

近几年 AI 在认知问题上取得不少突破,生活中许多任务也都开始加入 AI 技术,像是辨识图像和影片中的物体、语音转文字、机器翻译等。不过,深度学习网络若受到设计过的干扰讯号影响,很容易产生错误的判断,而这类型的干扰是人类难以察觉的,有心人可能会利用这样的弱点,误导 AI 模型的判断,用于不当的行为。

Adversarial Robustness 工具箱目前主要提供增强电脑视觉辨识的防御性,给开发人员提供新型防御技术,并在实际部署 AI 模型时也能防御恶意的误导攻击,该工具箱是用 Python 撰写而成,因为 Python 是建立、测试和部署深度神经网路最常用的语言,包含了对抗和防御攻击的方法。

首先,开发人员可以用该工具箱检测深度神经网路的稳固性,主要记录了模型对不同干扰的输出结果,再透过攻击的资料集来强化 AI 模型,最后标注攻击模式和讯号,防止模型因干扰讯号,产生错误结果。

Adversarial Robustness 工具箱目前支持 TensorFlow 和 Keras,未来预计会支持更多框架,像是 PyTorch 或 MXNet,现阶段主要是提供图像识别的防御,未来将会增加更多领域的版本,像是语音识别、文字识别或和时间序列等。

来自:iThome


【声明】文章转载自:开源中国社区 [http://www.oschina.net]


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Java Concurrency in Practice

Java Concurrency in Practice

Brian Goetz、Tim Peierls、Joshua Bloch、Joseph Bowbeer、David Holmes、Doug Lea / Addison-Wesley Professional / 2006-5-19 / USD 59.99

This book covers: Basic concepts of concurrency and thread safety Techniques for building and composing thread-safe classes Using the concurrency building blocks in java.util.concurrent Pe......一起来看看 《Java Concurrency in Practice》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换