MIT-IBM合秀AI神技：一秒无痕改图，逼真度惊人

智东西（公众号：zhidxcom）

编 | 年年

导语:MIT–IBM Watson人工智能实验室开发出的“GAN Paint Studio”能够通过AI添加、删除和修改照片中的对象。

智东西7月1日消息，人工智能和深度学习的发展为图像后期处理进步提供了新的可能。MIT-IBM Watson人工智能实验室开发出了一个公开可用的工具“GAN Paint Studio”，这个 工具 允许用户上传任意照片，并根据他们内心的想法编辑所描绘的目标的外观。

这个工具是图像处理领域的一个巨大的进步，但也同样充满着不确定性，但不管怎样，它带动了AI图像处理领域的一个变革。

一、GAN Paint Studio：后期图像处理的新工具

▲GAN Paint Studio界面

新的研究表明，人工智能和机器学习为后期图像处理的发展带来新的希望。Nvidia的工程师们最近演示了一个人工智能系统——GigGAN——能够凭空创造出令人信服的逼真风景照片，而微软科学家上个月则提出了一个能够基于自然语言表述生成图像的技术框架。

MIT-IBM Watson人工智能实验室近日开发出了一个公开的工具“GAN Paint Studio”，这个工具允许用户上传任意照片，并根据他们内心的想法编辑所描绘的建筑物、植物群和固定装置的外观。 令人印象深刻的是，通过插入具有一个内置工具的新对象实际上会对附近的对象产生影响（例如前景中的树会遮挡它们后面的结构）。

“现在的机器学习系统就像黑盒子，我们并不总是知道如何改进，有点像你必须通过击打来修理那些旧电视机一样，”麻省理工计算机科学与人工智能实验室博士生David Bau说，他是走在相关领域研究前沿的作者。“这项研究表明，虽然拆开电视机并查看所有电线可能会让人感到害怕，但也许正是那里可能会有更多有意义的信息。”

▲GAN Paint Studio编辑示例

二、GAN Paint Studio的运行方式和工作原理

所以它到底如何工作呢？ 给定输入的照片，GAN Paint Studio底层的机器学习系统首先通过查找隐藏表征（latent representation）来重新渲染它，这样从中就可以生成与原始照片几乎相同的照片。当用户点击图像编辑设置的工具集来转换他们的照片时，系统会根据每次编辑来更新隐藏表征形式并呈现修改后的结果。

开发这个模型需要识别与GAN内部的对象类型（如门口）相关的识别单元，这是一个由生成样本的生成器和试图区分生成的样本和现实样本区别的鉴别器组成的两部分神经网络。研究人员单独测试这些单元，想发现消除它们是否会导致特定目标的消失或出现，并逐渐试着通过隔离不同单元来尝试提高整体图像质量。

“以前，当GANs生成不切实际的图像时，没人知道为什么，”论文合著者和IBM研究科学家Hendrik Strobelt说。 “我们发现这些错误是由特定单元组合触发的,现在我们可以通过隐藏这些单元的表达来提高图像质量。”

三、GAN Paint Studio的进步与挑战

如前所述，这个系统学习了一些关于对象之间关系的基本规则。它不会放置那些在逻辑上互不相关的东西（如天空中的窗口），而且它还会根据内容创建不同的视觉效果。例如，要求GAN Paint Studio将门添加到两个不同的建筑物上不会导致出现相同的门，它们看起来可能完全不同。而这只是冰山一角，GAN Paint Studio还可以“打开”关闭的床头灯，为春季或秋季重新铺设灌木，为公寓内部安装窗户，和为建筑物添加屋顶圆顶。

该团队认为，更复杂的基于GAN的动力绘画工具有朝一日可以让设计师动态调整视觉效果，这可以让计算机图形编辑器快速构建特定图片所需对象的排列。 当然，他们也承认这项技术可能会被滥用，但他们声称正在进行的研究是预防滥用的最佳方法。

“你需要先了解你的对手才能防御它，”论文联合作者和麻省理工学院CSAIL博士后学生朱俊艳（音译）说。 “这种理解可能有助于我们更轻松地检测虚假图像。”

6月中旬，Adobe和加州大学伯克利分校的研究人员详细介绍了一个人工智能程序，可以识别Photoshop的Face Aware Liquify工具改变过面部表情图片。（他们声称，在测试中，它的准确识别率高达99％，而未经训练的人的平均成功率为53％）。此外，南加州大学信息科学研究所的计算机科学家还设计了一个能够分辨异常动作的系统，这个系统能够捕捉由AI软件生产的虚假视频里的异常动作。

结语：有风险，更有希望

人工智能的发展为图片处理带来了新的可能，GAN Paint Studio能够通过AI添加、删除和修改照片中的对象，这项技术是图像处理领域里的一个巨大的进步。

但是这项技术与其他AI技术一样也存在着被滥用的可能，但也就像研究者所说的那样，不断的研究才是预防滥用的最佳方法。

文章来源：venturebeat