AI版007：间谍用GAN生成假头像，大肆网钓政客大V

来源：APNEWS、theverge、Twitter等，编辑：金磊、张佳

科技是把双刃剑：令人担心的事情还是发生了。

自DeepFakes技术诞生以来，造假脸、假视频的恶搞消息不断，而基于GAN的相关技术让这种恶搞“更上一层楼”—— 真人？假人？傻傻分不清 。

先来看下两个例子。

2015年，教皇方济各 (Pope Francis) 访美期间，“一个出人意料之举”震惊了世界：只见他在向圣坛礼拜后，转身顺手将桌布一抽，上演了一出绝妙的“抽桌布”戏法，动作之行云流水，令人膜拜。

相关视频很快火遍了全美乃至全世界。但是， 这是一个假视频 。

2015年现任教皇访美，上演绝妙“抽桌布”戏法，美国主教看后表示不爽。当然，这段视频是假造的，但这并不影响其流行。来源：CNN

今年2月，英伟达StyleGAN开源，而后一波“造假热潮”来了—— 假猫、假人、假房源网站 如“雨后春笋般”崛起。人们不禁感叹：实在太逼真了！

StyleGAN生成的假房源

但在惊叹之余，人们不禁对诸如此类的AI技术表示担忧：若是被滥用，会严重影响人们的安全和隐私。

事情还是发生了。

根据美联社 报道 ， 一名间谍使用 AI 生成的个人资料和图片在知名全球职场社交平台LinkedIn上欺骗联系人 ！

Katie Jones在LinkedIn中的虚假信息

据称，凯蒂·琼斯(Katie Jones) 在一个高级智库工作, 与政治专家和政府内部人士联系在一起 。其中包括一些零散的政府人物，如参议员的助手、副助理国务卿，以及目前正在考虑加入美联储的经济学家保罗•温弗里(Paul Winfree)。

但其实， 她并不存在 。

图灵奖得主、Facebook首席科学家 Yann Lecun 对此发推表示：

显然，GAN在LinkedIn上被用来创建虚假的个人资料照片，并用于国际工业间谍活动。

人类被戏谑：这个AI间谍堪比007，钓到不少“大V”

Katie Jones似乎很关注华盛顿的政治局势。

这位30岁的红发女郎声称在一个顶级智库工作，是美国国际战略研究中心（CSIS）的研究员。她与美国的一位副助理国务卿、一位参议员的高级助理以及正在考虑就职美联储席位的经济学家Paul Winfree均有联系。

但是美联社已经确定， Katie Jones并不存在 。

相反，这个人是隐藏在专业社交网站LinkedIn上的大量幻影资料之一。美联社联系的几位专家表示，Jones的个人资料照片似乎是由一个计算机程序创建的。

CSIS航空安全项目和国防预算分析主任Todd Harrison发推表示：

现在我开始怀疑我的 CSIS 同事中有多少是真正的人类, 而不是 AI 产生的。

他还调侃道：“Sam，你是真人吗？”

“我相信这是一张假脸，”Mario Klingemann表示。Mario是一位德国艺术家，多年来一直在试验人工生成的肖像，他说自己已经审查了数万张这样的肖像图。“这张头像有所有的特征。”

看了Jones个人资料和活动的LinkedIn专家表示，这是职业社交网站间谍活动的典型表现。作为全球名片簿，LinkedIn成为吸引间谍的强大磁铁。

丹麦民主联盟基金会智囊团的项目主任Jonas Parello Plesner说，“它看起来像某种国营业务。”几年前，Jonas是LinkedIn上间谍活动的目标。

与Facebook的朋友和家庭聚焦点不同，LinkedIn面向求职者和猎头，这些人通常会放出简历，建立庞大的联系网，向陌生人推销项目。这种“把他们都联系起来”的方式有助于填补网站上数百万个招聘职位的空缺，但它也为间谍提供了一个丰富的猎场。

过去几年，英国、法国和德国官员都发出警告，详细说明外国间谍如何利用LinkedIn与数千人取得联系。

在一份声明中，LinkedIn表示它经常对假帐户采取行动，在2019年的前三个月中对其中数千个帐户进行了处理。它还说“我们建议您与您认识和信任的人联系，而非任何人。”

Katie Jones的个人资料规模不大，有52个联系人。

但是这些联系人具有足够大的影响力，接受Jones邀请的一些人也会因此对她信任。美联社在今年3月初至4月初期间与其他大约40名与Jones有联系的人进行了交谈，其中许多人说他们经常接受他们不认识的人的邀请。

“我可能是LinkedIn历史上最糟糕的用户，”特朗普总统的国内政策委员会前副主任Winfree说，他在3月28日确认了与Jones的联系。

上个月，联邦储备委员会理事会的一个职位空缺，Winfree的名字出现了，他表示，自己很少登录LinkedIn并倾向于批准他所有堆积的邀请。“我真的接受了我的每一个朋友邀请，”Winfree说。

在日内瓦韦伯斯特大学教东亚事务的Lionel Fatton说，他不认识Jones的事实让他在3月份与她联系时有短暂停顿。“我记得犹豫不决，”他说：“然后我想，"有什么害处？"”

Parello-Plesner指出，潜在的伤害可能是微妙的：连接到像Jones这样的个人资料邀请意味着与背后的人进行一对一的对话，网站上的其他用户可以将连接视为一种认可。他说：“你降低了自己的警惕，也让别人放松警惕。”

Jones的个人资料首先由伦敦Chatham House智囊团的俄罗斯专家Keir Giles举报。Giles最近陷入了针对俄罗斯反病毒公司卡巴斯基实验室的批评者的完全独立的间谍活动。所以当他收到Katie Jones在LinkedIn上的邀请时，他很怀疑。

Jones声称自己多年来一直在华盛顿战略与国际研究中心担任“俄罗斯和欧亚大陆研究员”，但Giles表示，如果这是真的，“我应该听说过她。”

CSIS发言人Andrew Schwartz告诉美联社，“没有一位名叫Katie Jones的人为我们工作。”

Jones还声称已获得密歇根大学俄罗斯研究学位，但学校表示“无法找到任何一个以此名字从大学获得这一学位的学生。”

在美联社联系网络寻求评论后不久，Jones账户就从LinkedIn上消失了。通过LinkedIn和相关的AOL电子邮箱帐户发送给Jones本人的邮件也没有回复。

美联社采访的众多专家表示，Katie Jones最吸引人的地方可能是她的脸，他们说这似乎是人为创造的。

Klingemann和其他专家说，这张照片—— 一张蓝绿色眼睛、褐色头发和神秘微笑的女人的肖像——似乎是使用称为生成对抗网络（GAN）的一系列计算机程序创建的，这可以创造出想象出来的人的逼真面孔。

GAN，有时被描述为一种人工智能形式，已经受到越来越政策制定者的关注，尽管他们已经在努力处理数字虚假信息了。周四，美国立法者举行了他们的第一次听证会，主要讨论人为生成图像的威胁。

南加利福尼亚大学创意技术研究所负责图形实验室愿景的Hao Li发布了一份数字报告清单，他认为Jones的照片是由计算机程序创建的，包括Jones眼周围的不一致、她头发周围的光和左脸颊上留下污迹。

基于GAN生成的图像：逼真到可怕，能生成世间万物

这个造假技术到底有多厉害？

基于GAN的架构一个又一个推出，英伟达StyleGAN就是其中一个，多上几张图有助于你回忆：

这个模型并不完美，但确实有效，而且 不仅仅可用于人类，还能用于汽车、猫、风景图像的生成。

英伟达研究人员在论文中写道，他们提出的新架构可以完成自动学习，无监督地分离高级属性（例如在人脸上训练时的姿势和身份），以及生成图像中的随机变化，并且可以对合成进行更直观且特定于比例的控制。

换句话说，这种新一代GAN在生成和混合图像，特别是人脸图像时，可以 更好地感知图像之间有意义的变化，并且在各种尺度上针对这些变化做出引导 。

例如，在上面的动图中，其实面部已经完全变了，但“源”和“样式”的明显标记显然都得到了保留。为什么会这样？请注意，所有这些都是完全可变的，这里说的变量不仅仅是A + B = C，而且A和B的所有方面都可以存在/不存在，具体取决于设置的调整方式。

而StyleGAN之所以强大，就在于它使用了基于风格迁移的全新生成器架构：

传统生成器架构和基于风格的生成器架构对比

在传统方式中，隐码(latent code)是通过输入层提供给生成器的，即前馈网络的第一层(上图中的a部分)。而英伟达团队 完全省略了输入层 ，从一个学习的常量(learned constant)开始，从而脱离了传统的设计(图1b，右)。在输入隐空间Z中，给定一个隐码z，一个非线性网络 f：Z→W首先生成w∈W(图1b，左)。

英伟达团队的生成器架构可以通过对样式进行特定尺度的修改来控制图像合成。可以将 映射网络和仿射变换 看作是一种从学习分布(learned distribution)中为每种样式绘制样本的方法，而将 合成网络 看作是一种基于样式集合生成新图像的方法。修改样式的特定子集可能只会影响图像的某些方面。

面对假脸生成算法，现有人脸识别系统几乎束手无策

之前，大多数研究都集中在如何提高“换脸”技术上，也就是如何让计算机生成超逼真的人脸。

谁料，这种技术发展的滥用造成了反效果，也即所谓的“DeepFake”。现在，DeepFake已被用于指代所有看起来或听起来像真的一样的假视频或假音频。

针对 Deepfake 视频中人脸识别的漏洞，两人在论文中对基于VGG和Facenet的人脸识别系统做了漏洞分析，还使用SVM方法评估了 DeepFake 的几种检测方法，包括嘴唇动作同步法和图像质量指标检测等。

结果令人遗憾——

无论是基于VGG还是基于Facenet的系统，都不能有效区分GAN生成假脸与原始人脸。而且，越先进的Facenet系统越容易受到攻击。

VGG模型是2014年ILSVRC竞赛的第二名，第一名是GoogLeNet。但是VGG模型在多个迁移学习任务中的表现要优于googLeNet。而且，从图像中提取CNN特征，VGG模型是首选算法。它的缺点在于，参数量有140M之多，需要更大的存储空间。但是这个模型很有研究价值。
Facenet该模型没有用传统的softmax的方式去进行分类学习，而是抽取其中某一层作为特征，学习一个从图像到欧式空间的编码方法，然后基于这个编码再做人脸识别、人脸验证和人脸聚类等。

直方图显示了基于VGG和Facenet的人脸识别在高质量人脸交换中的漏洞。

检测Deepfake视频

他们还考虑了几种基线Deepfake检测系统，包括使用视听数据检测唇动和语音之间不一致的系统，以及几种单独基于图像的系统变体。这种系统的各个阶段包括从视频和音频模态中提取特征，处理这些特征，然后训练两个分类器，将篡改的视频与真实视频分开。

所有检测系统的检测结果如下表所示。

说明一下表格中各种“符号”和数字的意思，你也可以直接跳过看本节最后结论：

在本系统中，使用MFCCs作为语音特征，以mouth landmarks之间的距离作为视觉特征。将主成分分析(PCA)应用于联合音视频特征，降低特征块的维数，训练长短期记忆(long short-term memory, LSTM)网络，将篡改和非篡改视频进行分离。

作为基于图像的系统，实现了以下功能:

• Pixels+PCA+LDA：使用PCA-LDA分类器将原始人脸作为特征，保留99%的方差，得到446维变换矩阵。

• IQM+PCA+LDA：IQM特征与PCA-LDA分类器结合，具有95％保留方差，导致2维变换矩阵。

• IQM + SVM：具有SVM分类器的IQM功能，每个视频具有20帧的平均分数。

基于图像质量测度(IQM)的系统借鉴了表示域(domain of presentation )的攻击检测，表现出了较好的性能。作为IQM特征向量，使用129个图像质量度量，其中包括信噪比，镜面反射率，模糊度等测量。

下图为两种不同换脸版本中性能最好的IQM+SVM系统的检测误差权衡(DET)曲线。

IQM + SVM Deepfake检测

结果表明：

首先，基于唇部同步的算法不能检测人脸交换，因为GAN能够生成与语音匹配的高质量面部表情；因此， 目前只有基于图像的方法才能有效检测Deepfake视频 。

其次，IQM+SVM系统对Deepfake视频的检测准确率较高，但使用HQ模型生成的视频具有更大的挑战性，这意味着越先进的人脸交换技术将愈发难以检测。

AI研究发表和模型开源，真的该制定一个规范了

Yann LeCun于2月在Twitter上提问：

讲真，要是当初知道卷积神经网络(CNN)会催生DeepFake，我们还要不要发表CNN？

LeCun说：“问个严肃的问题：卷积神经网络(CNN)被用于(或开发)各种各样的应用。很多这样的应用对世界起到了积极影响，例如，医疗影像、汽车安全、内容过滤、环境监控等等。

“但有的应用则可能起到负面的效果，或者说侵犯隐私，例如，公众场所的人脸识别系统、进攻性武器，以及有偏见的“过滤”系统……

“那么，假设在上世纪80年代那时我们能够预见CNN的这些负面影响，我们该不该把CNN模型保密不公开呢？“

几点想法：

• 最终，CNN(或者类似的东西)还是会被其他人发明出来(实际上，有些人可以说差不多已经做到了)。其实，福岛邦彦就跟我说，他80年代末的时候正在研究一种用BP训练的新认知机(Neocogitron)，但看到我们1898年发表的神经计算论文“大感震惊”(shocked)，然后停止了他的项目。

• 开源CNN或深度学习软件平台直到2002年才出现(CNN是20世纪90年代早期商业软件包SN和2002年开源的Lush软件包的一项功能。20世纪90年代中后期才开始有OSS分发)。因此，在某种程度上，CNN直到2002年才完全发表(released)。但那时基本没有什么人关注CNN，或者想到用Lush来训练CNN。”

LeCun的这番话，可以说是为他此前的“表态”做出了完美的解释。是的，这里说的还是关于 OpenAI模型开源 的那件事。

但是，通过此次事件来看，OpenAI觉得由于模型过于强大而不开源的担忧兴许是正确。

当然，现在业界的重点已经从最初的口水战聚焦到AI研究发表和开源政策的讨论上来。

现在能够肯定的是，关于AI研究发表和模型开源，相关的政策真的需要制定了。OpenAI在担心模型被滥用时举了DeepFake为例，DeepFake是基于CNN构建的图像生成模型，由于强大的图像生成能力，能够生成以假乱真的人脸，甚至骗过先进的人脸识别模型。

那么，还是回到那个严肃的问题：

你认为强大的技术是否该开源呢？

欢迎留言给出你的意见。

PS：

你能辨别真脸和假脸吗？不妨到这个网站测试一下：

http://www.whichfaceisreal.com/

参考链接：

美联社：https://apnews.com/bc2f19097a4c4fffaa00de6770b8a60d

The Verge：https://www.theverge.com/2019/6/13/18677341/ai-generated-fake-faces-spy-linked-in-contacts-associated-press

Twitter：https://twitter.com/search?q=katie%20jones&src=typd

StyleGAN：https://github.com/NVlabs/stylegan

声明：本文来自新智元，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。