腾讯优图CVPR中标论文：不靠硬件靠算法，暗光拍照也清晰

暗光拍照也清晰，这是手机厂商目前激烈竞争的新拍照目标。

但除了堆摄像头和硬件，AI科学家带来算法方面的新突破。

他们提出基于深度学习优化光照的暗光下的图像增强模型，用端到端网络增强曝光不足的照片。

而且不是像以前的工作那样，直接学习图像到图像的映射，而是在新网络中引入中间照明，将输入与预期的增强结果相关联，增强网络从专家修饰的输入/输出图像学习复杂的摄影调整的能力。

结果证明，新算法模型，效果超过了市面上一众当红的多摄多硬手机。

这个新算法由 腾讯优图实验室 提出，王瑞星、沈小勇及贾佳亚是作者，论文已入选CVPR 2019.

传统图像增强算法不好用

优图方面称，人们在社交网络中，往往喜欢分享自己用不同设备拍摄的照片，尤其是使用手机拍摄的照片，不过很多时候，由于低光照或者背光的环境下拍摄到的照片经常会产生欠曝光的现象，由于在图像增强的整个过程不是线性的操作，并且增强的结果是很主观的，因此欠曝光图像增强是一个很具有挑战性的任务。

虽然目前市面上存在了一些专业的图像处理软件，可以让用户交互式的处理图像，如Adobe lightroom, PhotoShop。但是对于业余爱好者来说，能同时处理好颜色，对比度，调节光照等操作是非常困难的。

也有一些软件提供了一键自动的增强图像的功能，比如Lightroom的Auto Tone功能和iPhone的魔法棒增强功能，但是由于平衡各方面的调整是非常复杂的一件事。

这些软件依然会得到一些失败的案例。

传统夜景图像增强算法大致可以分为几个方面： 直方图均衡化(Histogram equalization) ，这种方法简单的利用了图像整体的统计性质，通常不能对复杂场景达到理想效果。

基于Retinex理论的增强算法，通常只能用单通道进行光照优化，颜色无法很好地回复，在光照复杂的情况下还容易出现过曝的现象。

这些传统方法还容易在增加图像亮度的同时，放大噪声等瑕疵，影响图像质量。

基于深度学习的方法，通常是直接训练回归(regression)模型，由于数据本身的特性，这种方法得到的结果通常清晰度、对比度比较低，而且会有一些人工痕迹。

转换方法+网络结构设计

对此，腾讯优图将图像增强问题，转化为光照优化问题。

之前的神经网络都是从训练数据，学习原始图像到清晰图像之间的回归映射。

优图则是希望通过神经网络学习出中间结果图像的光照图（illumination）, 进而再通过输入图像和光照图的关系，得到增强后的图片。

与几个具有代表性的商业软件效果对比：

具体方面及网络结构：

在网络结构的设计方面，本方案采用创新的双分支的网络结构。

网络分成了 全分辨率分支 和 低分辨率分支 。其中低分辨率分支用于学习到全图光照的整体信息，低分辨率图像的使用，有助于增大网络感受野，提高算法速度。

低分辨率分支的结果将会传递给高分辨率网络分支，用于重建全分辨率下的亮度图，并最终得到增强后的图像。

此外，优图设计的新的损失函数，包括：图像重建损失、光照局部平滑损失以及颜色损失，进一步帮助腾讯优图的网络产生更加稳定、清晰、颜色真实鲜艳的结果。

得益于双分支网络的设计，以及全分辨率分支中的双边上采样模块的设计，本方法可以在保证效果的同时，在GPU上对于高分辨率图片（例如：3000x2000）进行实时的增强。

实现细节如下：

夜景图像增强的任务中，一个难点是难以获取到成对的增强前后的训练图像。在该项目中，优图使用了MIT-Adobe 5K数据集，该数据集包含了5000组原始图片和专业美工调节后的图像。

此外，为了适应光照程度更加复杂的场景，优图自行采集数千组高清暗光照片作为训练数据。由此构建出的数据集，使得本算法在复杂光照下，也能得到稳定结果。

对于上边描述的深度神经网络结构，优图利用对应的暗光和清晰图片进行网络的训练。因为卷积网络不限制输入图片的大小，研究人员随机从图片中截取256x256尺寸大小的图片块进行网络训练来更好地利用GPU显存。训练好的模型可以利用在任何尺寸的图片上。

除了对于欠曝光图像增强外，优图对于一些市面上常见的手机（华为P20, 小米MiX3, iPhoneX, 三星S9+）拍摄的结果，利用新算法也进行了进一步的美化，效果图如下：

论文传送门

Underexposed Photo Enhancement using Deep Illumination Estimation

《基于深度学习优化光照的暗光下的图像增强》

http://jiaya.me/papers/photoenhance_cvpr19.pdf

One more thing

不过，近日腾讯优图最受热议的还有一桩AI公益的案例。

央视栏目《等着我》报道称，优图突破“跨年龄人脸识别”，帮助警方寻回了被拐十年儿童。

优图方面介绍，这是优图创新性技术在公益领域的成果。

依托腾讯海量数据，腾讯优图首创了跨年龄人脸识别技术，重点解决寻人场景中婴幼儿被拐的情况。

为了充分的从数据中学习人脸自然的跨年龄变化规律，腾讯优图提出了 基于DDL（分布式蒸馏学习法则）学习策略的正则化迁移学习策略 。

基于该策略，算法模型可充分进行跨年龄人脸识别学习，从而让困难的跨年龄识别更加可靠和精准。

腾讯方面称，这是对“科技向善”的最好实践。