PFLD:简单、快速、超高精度人脸特征点检测算法

栏目: 编程工具 · 发布时间: 5年前

内容简介:什么样的算法才是好算法?

我爱计算机视觉 标星,更快获取CVML新技术

PFLD:简单、快速、超高精度人脸特征点检测算法

什么样的算法才是好算法?

真正能实用的算法才是最好的算法!

这需要实现三个目标: 精度高、速度快、模型小!

今天arXiv新发布的文章《PFLD: A Practical Facial Landmark Detector》,则是实用人脸特征点检测算法的典范。

PFLD:简单、快速、超高精度人脸特征点检测算法

PFLD算法,目前主流数据集上达到最高精度、ARM安卓机140fps,模型大小仅2.1M!

这篇今天新出的论文,必将成为人脸特征点检测领域的重要文献,今天我们就一起来探究一下,PFLD算法到底有什么黑科技。

作者信息:

PFLD:简单、快速、超高精度人脸特征点检测算法

作者分别来自天津大学、武汉大学、腾讯AI实验室、美国天普大学。

感谢各位大牛!

人脸特征点检测的挑战

作者首先从算法实用性角度讨论了人脸特征点检测问题的面临的挑战。

Challenge #1 - Local Variation

人脸表情变化很大,真实环境光照复杂,而且现实中大量存在人脸局部被遮挡的情况等。

Challenge #2 - Global Variation

人脸是3D的,位姿变化多样,另外因拍摄设备和环境影响,成像质量也有好有坏。

Challenge #3 - Data Imbalance

现有训练样本各个类别存在不平衡的问题。

Challenge #4 - Model Efficiency

在计算受限的设备比如手机终端,必须要考虑计算速度和模型文件大小问题。

算法思想

作者使用的网络结构如下:

PFLD:简单、快速、超高精度人脸特征点检测算法

其中,

黄色曲线包围的是主网络,用于预测特征点的位置;

绿色曲线包围的部分为辅网络,在训练时预测人脸姿态(有文献表明给网络加这个辅助任务可以提高定位精度,具体参考原论文),这部分在测试时不需要。

作者主要用两种方法,解决上述问题。

对于上述影响精度的挑战,修改loss函数在训练时关注那些稀有样本,而提高计算速度和减小模型size则是使用轻量级模型。

Loss函数设计

Loss函数用于神经网络在每次训练时预测的形状和标注形状的误差。

考虑到样本的不平衡,作者希望能对那些稀有样本赋予更高的权重,这种加权的Loss函数被表达为:

PFLD:简单、快速、超高精度人脸特征点检测算法

M为样本个数,N为特征点个数,Yn为不同的权重,|| * ||为特征点的距离度量(L1或L2距离)。(以Y代替公式里的希腊字母)

进一步细化Yn:

PFLD:简单、快速、超高精度人脸特征点检测算法

其中

PFLD:简单、快速、超高精度人脸特征点检测算法

即为最终的样本权重。

K=3,这一项代表着人脸姿态的三个维度,即yaw, pitch, roll 角度,可见角度越高,权重越大。

C为不同的人脸类别数,作者将人脸分成多个类别,比如侧脸、正脸、抬头、低头、表情、遮挡等,w为与类别对应的给定权重,如果某类别样本少则给定权重大。

主网络

作者使用轻量级的MobileNet,其参数如下:

PFLD:简单、快速、超高精度人脸特征点检测算法

辅网络

参数如下:

PFLD:简单、快速、超高精度人脸特征点检测算法

实验结果

作者在主流人脸特征点数据集300W,AFLW上测试了精度,尽管看起来上述模型很简单,但超过了以往文献的最高精度!

下图是在300W上的CED,完美将其他算法的曲线压在下面。

PFLD:简单、快速、超高精度人脸特征点检测算法

下图为在300W数据集上不同评价标准IPN\IOP精度比较结果,依然是最棒的。

PFLD:简单、快速、超高精度人脸特征点检测算法

其中PFLD 1X是标准网络,PFLD 0.25X是MobileNet blocks width 参数设为0.25的压缩网络,PFLD 1X+是在WFLW数据集上预训练的网络。

值得一提的是表格中LAB算法,是CVPR2018上出现的优秀算法,之前一直是state-of-the-art。感兴趣的朋友可以参考52CV当时的报道:

重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB 。

下图是该算法在AFLW数据集上与其他算法的精度比较:

PFLD:简单、快速、超高精度人脸特征点检测算法

同样是达到了新高度!

下面来看一下算法处理速度和模型大小,图中C代表i7-6700K CPU,G代表080 Ti GPU,G*代表Titan X GPU,A代表移动平台Qualcomm ARM 845处理器。

PFLD:简单、快速、超高精度人脸特征点检测算法

PFDL同样是异乎优秀!与精度差别很小的LAB算法相比,CPU上的速度提高了2000倍!

下面是一些特征点检测示例,尽管很多样本难度很大,但PFLD依然给出了可以接受的结果。

PFLD:简单、快速、超高精度人脸特征点检测算法

PFLD:简单、快速、超高精度人脸特征点检测算法

作者没有开源代码,但给出了Android应用 APK 和Android工程(算法封装在bin文件里)。

这个算法实在是太吸引人了,你是不是也想试一下呢?

作者给的网址:

https://sites.google.com/view/xjguo/fld

可惜国内不能下载,不过CV君把它搬到百度云了,在“我爱计算机视觉”公众号对话界面回复“PFLD”即可收到下载地址。

(CV君下载了APK试用,好像没看到效果,不知是不是手机兼容性有问题)

提醒一下,作者声明,该工程仅可用于研究比较,如需商业使用需要联系作者获得授权。

论文地址:

https://arxiv.org/pdf/1902.10859.pdf

PFLD算法看起来简单,但精度却很高,这无疑来自作者设计的Loss函数很好的处理了样本类别不平衡的问题,你觉得还有更好的处理方法吗?欢迎留言。

加入专业讨论群

关注人脸检测、识别、特征点定位等技术,欢迎加入52CV-人脸相关专业讨论群,扫码添加CV君拉你入群:

请务必注明:人脸

PFLD:简单、快速、超高精度人脸特征点检测算法

喜欢在QQ交流的童鞋,可以加52CV官方 QQ群 :702781905。

(不会时时在线,如果没能及时通过验证还请见谅)

PFLD:简单、快速、超高精度人脸特征点检测算法

长按关注 我爱计算机视觉


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

个性化网页设计与鉴赏

个性化网页设计与鉴赏

梁景红 / 西安电子科技大学出版社 / 2003-07-14 / 22.00

本书比较全面地介绍了网页设计应注意的相关问题, 在网页设计基础方面着重讲解了网页框架、页面元素、色彩设计,分析了一些人们容易忽视的细小环节,如页面装饰物、图片、文字、连接等。书中结合实例分析了优秀网页的设计创意思想,可以给读者提供一些启示。书中还介绍了作为网页设计者需要了解的信息管理和技术应用,以及网站VI设计和视觉美学等必要知识,读者可针对各种类别的站点具体实践这些知识,寻找进行网页设计的切入点......一起来看看 《个性化网页设计与鉴赏》 这本书的介绍吧!

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

SHA 加密
SHA 加密

SHA 加密工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具