AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

栏目: IT技术 · 发布时间: 4年前

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

作者 | 马超

出品 | CSDN(ID:CSDNnews)

基于自编码技术的AI换脸项目ALAE成功登顶了Github趋势榜(https://github.com/podgorskiy/ALAE):

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

相比于之前的人脸图像处理的项目,ALAE可谓是大BOSS的级别了,随便贴几张效果图大家来感受一下。

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

不但图像分辨甩之前几代的换脸模型几条街,学习过程的可视化也更强:

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

截至笔者发稿时,ALAE有两个自编码器:一个是基于MLP编码器,另一个基于StyleGAN对抗神经网络的生成模型,也可以称之为StyleALAE。ALAE的作者们将这两种体系结构的结合。结果表明,StyleALAE在各方面的性能都优于上一代的StyleGAN,且在相同分辨率下还可以生成更真实的人脸重构信息。

笔者初步在GitHub上看了一下,由那个大名鼎鼎的换脸应用Deepfaks衍生的如faceswap,DeepFaceLab的开源项目数量不下十几个,其中以faceswap、Openfaceswap等开源项目为代码的换脸技术在GitHub上的更新与讨论十分热烈,推动了开源换脸技术的迭代速度。

以FaceApp为代表的项目虽然没有开源,但是它们提供了支持一键式操作的应用程序,极大地降低了换脸技术的使用门槛。

笔者在 嘘!我看到了你 60 岁的样子! 一文中回顾下AI换脸技术的发展历程:

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

Pix2Pix:AI换脸的祖师级模型

刚刚提到如deepfaks的换脸应用,是参考了Pix2Pix的思想。Pix2Pix是基于对抗神经网络GAN的模型,其目标是由图像的轮廓,还原回真实图像,目前读者可以到https://affinelayer.com/pixsrv/这个网站来感受一下,如何从随便画出的简笔画转换成真实的图像。

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

后来N厂又提出了Pix2PixHD技术, Pix2PixHD 把之前由Pix2Pix生成的图像分辨率提高了很多。可以说PIX2PIX是后面这些AI换脸等技术的理论基础,正是凭借AI强大的联想及脑补能力使以上应用成为了可能。

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

CycleGAN:风云变色的模型

2017年,加州大学伯克利分校的教授提出了CycleGAN模型,CycleGAN使用循环一致性损失函数来实现训练,来完成将图片中一个域到另一个域的无缝转换。简单来说CycleGAN能将图像的主题风格或者某一域主体完美进行切换,具体效果如下:

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

斑马与马的互转

CycleGAN有升级版的UGATIT,其效果更好,可以用在卡通风格的转换:

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

CycleGAN出现后,图像主题无缝切换将图像伪造技术提升了一个高度,在换脸之余还能把原背景主题进行切换,给鉴定带来麻烦。

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

StyleGAN:ALAE先导模型

StyleGAN模型也是N厂提出的,用来计算Picure A与Picture B结合的结果,StyleGAN还支持多种结合模式,详见下表:

Style 等级

Picture A

Picture B

高等级(粗略)

所有颜色(眼睛,头发,光线)和细节面部特征来自Picture A

继承Picture B高级的面部特征,如姿势、一般的发型、脸部形状和眼镜

中等级

姿势、一般的面部形状和眼镜来自Picture A

继承Picture B中级的面部特征 ,如发型,张开/闭着的眼睛

高等级(细微)

主要面部内容来自Picture A

继承Picture B高级面部特征,如颜色方案和微观结构

其两张图像按照三种style结合的效果如下图:

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

AI换脸的发展趋势

目前AI换脸的相关模型除了在效果方面不断取得突破之外,也有其它方面的发展动向,具体如下:

图像修复 :Partialconv模型可以通过AI对于图像进行修复,这又是一个N厂提出的模型,即使图像丢失了大面积的像素,能通过AI将损失进行修复,Partialconv也是所谓的一键”去“衣、一键”去“码之类应用的鼻祖,其效果图如下:

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

多媒体合成 :Speech-Driven Facial Animation是一个由三星提出的使用照片加音频合成视频的模型。SDA能够仅使用人的静止图像和包含语音的音频剪辑来产生动画面部。其生成的视频不仅可以产生与音频同步的唇部动作,还可以呈现特有的面部表情,例如眨眼,眉毛等,同时能够捕捉说话者的情绪并将其反映在面部表情中。

原图如下:

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

SDA处理之后生成的图像,静止图像立刻活灵活现起来。

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

AI换脸等技术的兴起可能会让未来的身份识别及认证造成一些麻烦,如果 一旦将人脸面部信息与具体的人联系起来,那么人脸信息就可能被滥用,如何研发可靠的技术来鉴定真伪?是我们开发者值得关注的地方。

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?

更多精彩推荐

身为开发人员,这些数据库合知识不掌握不合适!

蒋凡“罚酒三杯”,这些被价值观干掉的阿里人表示不服

IDEA 惊天 bug:进程已结束,退出代码 1073741819

当 DeFi 遇上 Rollup,将擦出怎样的火花?

你点的每个“在看”,我都认真当成了喜欢


以上所述就是小编给大家介绍的《AI 换脸项目 ALAE 登顶 Github,AI 换脸又升级?》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

科技之巅

科技之巅

麻省理工科技评论 / 人民邮电出版社 / 2016-10-1 / CNY 98.00

《麻省理工科技评论》从2001年开始,每年都会公布“10大突破技术”,即TR10(Technology Review 10),并预测其大规模商业化的潜力,以及对人类生活和社会的重大影响。 这些技术代表了当前世界科技的发展前沿和未来发展方向,集中反映了近年来世界科技发展的新特点和新趋势,将引领面向未来的研究方向。其中许多技术已经走向市场,主导着产业技术的发展,极大地推动了经济社会发展和科技创新......一起来看看 《科技之巅》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

在线进制转换器
在线进制转换器

各进制数互转换器

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具