【酷干货】看完这篇！搞定YOUKU-VSRE竞赛不是梦！

前情提要：

优酷视频增强和超分辨率挑战赛竞赛开赛啦

链接直达： https://tianchi.aliyun.com/competition/entrance/231711/introduction ，还没上车的要抓紧哦~

国际惯例先看下大赛介绍：

大赛概况：

视频增强和超分是计算机视觉领域的核心算法之一，目的是恢复降质视频本身的内容，提高视频的清晰度。该技术在工业界有着重要的实用意义，对于早期胶片视频的质量和清晰度的提升有着重大的意义。

本竞赛不仅提供一个平台，让大家展示最前沿的视频增强和超分算法，而且给出了业界最大、最具广泛性的数据集，包括不同内容品类，不同噪声模型、不同难度等。该数据集的生成模型完全是模拟实际业务中的噪声模式，研究人员可以真正的在实际场景中打磨算法，推动视频增强和超分算法在实际问题中的应用，促进工业界和学术界的深度合作。

奖项设置：

冠军：1支队伍，奖金10万人民币，颁发获奖证书

亚军：1支队伍，奖金6万人民币，颁发获奖证书

季军：1支队伍，奖金4万人民币，颁发获奖证书

极客奖：3支队伍，奖金1万人民币，颁发获奖证书

此外，复赛审核通过的排名前10队伍，可进入阿里（优酷）校招绿色通道。

（上述奖项以决赛答辩的最终名次决定）

赛程安排：

本次大赛分为预选赛、淘汰赛和决赛三个阶段：
初赛（5月5日-6月18日，UTC+8）
复赛（6月25日-8月10日，UTC+8）
决赛（9月，UTC+8）

报名方式：

1. 报名开始时间：2019年4月11日（UTC+8）；

2. 截止报名及组队变更时间：2019年6月16日12:00（UTC+8）；

3. 参赛队伍1-5人组队参赛，每位选手只能加入一支队伍；

4. 确保报名信息准确有效，否则会被取消参赛资格及激励；

5. 报名方式：用淘宝或阿里云账号登入天池官网，完成个人信息注册，即可报名参赛；

————接下来干货预警！全体注意！————

竞赛任务：

比赛要求通过训练样本对视频增强和超分模型进行建模，对测试集中的低分辨率视频样本预测高分辨率视频，其中低分辨率视频图像宽度/高度和高分辨率视频宽度/高度比值为1:4。其中，高分辨率视频来自优酷高清媒资库，优酷拥有视频的知识产权。低分辨率视频的生成模型是模拟实际业务中的噪声模式。

因此，解决此问题对视频产业有重要的贡献。为了更好的研究该问题，优酷将建立业界最大、最具有广泛性的视频超分和增强数据集，数据集将包括10000+视频对，包括不同内容品类，不同难度、不同业务场景下的噪声模型等等。第一批1000个视频数据集供本次比赛使用；比赛结束后，公开约2000个视频；剩余7000个视频也将逐步公开。

任务分析：

本次比赛主要任务是从低分辨率的视频预测高分辨率的视频，但不只是超分辨率而已。实际场景中包含了噪声，压缩痕迹等各种退化因素，所以在超分辨率的基础上还要对视频进行相应的增强。目前已经有很多关于超分辨率的研究和分享出现。比如github上的“A collection of high-impact andstate of the art SR methods”，网址：http://yapengtian.org/Single-Image-Super-Resolution/ 。比如NTIRE举办的超分辨率比赛的report等，网址: http://www.vision.ee.ethz.ch/ntire19/， 参赛选手可以借鉴的资料有很多。

需要注意的是本次比赛数据集的生成模型是模拟实际业务中的噪声模式，并不只是超分辨率这一个任务而已，还需要解决噪声，压缩痕迹等画质退化问题。超分辨率增强任务对实际视频业务中有着很大的应用前景，如何做到速度又快，效果又好，在增大分辨率的同时解决噪声，压缩痕迹等画质退化问题将会是未来超分辨率增强领域的研究热点和难点。在这里也给参赛选手推荐可以参考的baseline网络：https://github.com/thstkdgus35/EDSR-PyTorch。

EDSR是NTIRE2017超分辨率比赛的冠军，作者改进了相应的残差结构。残差结构的提出是为了解决high-level的问题，而不能直接套用在超分辨率这种low-level视觉问题上。因此作者移除了残差结构中一些不必要的模块，结果证明这样确实有效果。另外，作者还设置了一种多尺度模型，不同的尺度下绝大部分参数都是共用的。这样的模型在处理每一个单尺度超分辨率下都能有很好的效果。

随着深度卷积神经网络技术的推进，超分辨率的新近研究取得重大突破，但是关于任意缩放因子的研究一直未回到超分辨率社群的视野之中。先前绝大部分方法把不同的分辨率缩放因子看作独立的任务：即针对每个缩放因子分别训练一个模型，并且只考虑了若干个整数缩放因子。最近，旷视研究院提出了一种全新方法，称之为Meta-SR，首次通过单一模型解决了超分辨率的任意缩放因子问题（包括非整数因子）。

Meta-SR包含了一种新的模块Meta-Upscale Module, 以代替传统的放大模块。针对任意缩放因子，这一新模块可通过输入缩放因子动态地预测放大滤波器的权重，进而使用这些权值生成任意大小的HR图像。

当前超分辨率方向还主要专注于图像分辨率的增大，距离实际业务场景的落地还有一定的距离。实际业务场景中的低分辨率视频还可能存在噪声，压缩痕迹等问题。因此，在构建sr数据集的时候，不仅要考虑视频分辨率的影响，还要考虑到实际场景中可能遇到的噪声和压缩痕迹等问题。在增大视频分辨率的同时，需要能够很好的解决噪声，压缩痕迹等视频质量退化问题，必将是未来视频增强和超分辨率领域新的机遇和挑战，这也是优酷视频增强与超分辨率比赛举办的初衷。

关于超分辨率方面，这里给大家推荐两篇文章，一篇是google的“RAISR: Rapid and Accurate Image Super Resolution”,地址：https://arxiv.org/abs/1606.01299

。另外一篇是NTIRE2018超分辨率比赛的report “NTIRE 2018 Challenge on Single Image Super-Resolution: Methods andResults”，地址：http://www.vision.ee.ethz.ch/~timofter/publications/NTIRE2018_SR_report_CVPRW-2018.pdf。

视频去噪和去压缩痕迹方面，可以参考以下几篇论文：1.“Multi-level Wavelet-CNN forImage Restoration ”；2.“Residual Dense Network for ImageRestoration ”；3.“ImageRestoration Using Convolutional Auto-encoders with Symmetric Skip Connections ”。去噪和压缩痕迹的难点之一是针对视频图像的不同纹理特征区域采用不同的策略，举个简单的例子，对于去噪任务而言，图像中平坦区域的噪声一般而言希望能够尽可能的去除干净，而对于纹理区域，希望在去噪的同时能够尽可能的保留纹理细节。论文“Multi-level Wavelet-CNN for Image Restoration”借鉴了传统小波去噪的思路，小波去噪对图像进行小波分解，分解的结果既包含了空间位置信息，也包含了频率域信息，与此同时，作者采用了多尺度小波分解的方式引入了多尺度信息。

视频图像增强方面可以借鉴NTIRE往年的增强比赛的结果，比如美图实验室基于Unet结构提出了“Range Scale GlobalUnet”的结构获得了18年增强比赛冠军，基于HRNet结构提出了“Modified HRNet”结构获得了19年的增强比赛冠军。

视频增强和超分辨率对于工业界有着重要的落地价值，对于学术界是未来一个研究的热点和难点，相信随着工业界和学术界的不断推动，未来视频增强和超分辨率方向会有更大的发展，这也是阿里巴巴优酷视频增强和超分辨率比赛的价值和意义所在。

希望大家都能在大赛中取的好成绩。

接下来更多干货都将在“优酷技术”公众号陆续更新，关注不迷路哦~