直播时代，如何自动化保障视频质量？

本文作者张琰彬， Intel CS for WebRTC 测试负责人， 将于 MTSC2019 大会分享 Intel 实时视频自动化测试框架  议题。 文末有福利 ！

背景

随着手机硬件性能升级和网络带宽的提高，基于实时视频的社交应用、一对多的长短视频直播以及在线视频播放应用等如井喷似的出现。无论是国外的 Youtube、Netflix，Twitter，还是国内的抖音、B站等，都凸显了视频媒体在互联网内容中越来越重要的地位。

为了保证用户在视频聊天或在线直播时的良好体验，如何利用技术手段减少或避免视频质量问题，是企业质量保障人员必须关注的重点问题。

常见的 视频质量问题 有以下几种：

一种是清晰度相关的，比如说视频模糊、有花屏、有噪点、黑屏绿屏等，这些起因可能和带宽有关，比如在带宽受限的情况下可能会出现降分辨率，降频等等。另一种，就是跟视频流畅度相关的，比如视频延时、卡顿、抖动等。

如何通过技术手段对视频质量进行正确客观的评估尤其重要，高精度的客观评估算法的需求以及视频评估测试框架的需求迫在眉睫。

Intel WebRTC 实时音视频媒体服务平台

视频质量难题也是笔者所在的项目 —— Intel 开源的 WebRTC 实时音视频媒体服务器平台（Open WebRTC Toolkit） 面临的核心挑战。WebRTC 提供了具备强大服务器端功能和便捷的客户端编程接口，助力各业务领域实现高可靠、可扩展的通信解决方案的实时通信功能（例如社交媒体、远程医疗、远程教育、智能监控等）。

• 官网地址 ：https://01.org/open-webrtc-toolkit

• 开源地址 ： https://github.com/open-webrtc-toolkit

核心挑战如下：

• 如何将上述的问题转化成可以量化的视频质量评估指标？

• 如何发现这些视频问题？

• 如何对视频质量进行自动客观的评估？

• 除了图像相关的评估指标，还有哪些参数可作为视频质量评估参考？

• 视频测试框架的架构的设计应该是怎样的？

我们结合目前的有参考和无参考视频评估算法，以及各种网络参数实现了这个测试框架。

首先我们熟悉一下视频评估的方法，视频质量评估分主观测试和客观测试，关于视频质量评估本身，业界通常将评估方法分为两种类别，一个叫做主观评估，一种叫做客观评估。

主观评估

顾名思义就是人参与的人工评估，视频主观质量评价就是选择一批非专家类型的受测者，让他们参加一些培训，至少是阅读一些评估规范和标准比如说ITU-R BT.500 等，然后在一个特定的受控环境中，连续观看一系列的测试序列大约10至30分钟，然后采用不同方法让他们对视频序列的质量进行评分，最后求得平均意见分(Mean Opinion Score，MOS)，并对所得数据进行分析。

测试环境中的受控因素包括：观看距离、观测环境、测试序列的选择、序列的显示时间间隔等。

客观评估

即通过一些评估标准来量化视频质量，主要也分为两类：一类是有参考评估，另一类就是无参考评估。

有参考评估，就是依赖原始视频和待评测视频进行对比，目前比较熟知的就是 PSNR、SSIM、VIF、VMAF、PEVQ 等。

无参考评估方法，在判断视频质量时不需要来自原始参考视频的任何信息，通过对失真视频空域和频域的处理分析来提取失真视频的特征，或者基于视频像素的质量模型等来得到视频质量。

这种评估标准适合与线上无原始参考视频序列的无线和 IP 视频业务，或者输入和输出差异化的模型，比如说视频增强，视频合并等场景。所以要做全自动化，就意味着任何数据必须具备可重复性、量化特点，我们必须选取客观评估的方法。

选好了视频评估算法之后，我们开始考虑怎么设计一个视频评估测试框架。

设计 视频质量评估测试框架时，必须考虑几个关键因子：

1. 对比指标，我们需要设计足够多的测试场景，测试端对端的视频质量，影响的因子有发送方的压缩编码方式，网络性能参数，视频评估参数，是选择有参考的还是无参考，其中要用到的评估标准有哪些？

2. 模块化，这个是针对我们整个产品，模块化的设计可以使得每一模块都方便单独使用，集成和扩展。

3. 对立性能，这个是对任何评估模型的一个标准，因为我们需要借助已有视频通道，进行监察和监控，不能对原始的视频通道和客户端，服务器性能造成任何影响。

4. 结果显示，为什么单独拿出来这一块呢，因为如果要满足各种需求，比如说希望远端随时查看，多场景数据对比，或者集成到CI /CD 流程里面的自动化等。

5. 自动化，就是从视频传入到输出到最后参数对比 我们都需要做成全面自动化。

最终，实时视频视频质量评估框架诞生了， 这是整个测试框架的架构图：

其他难点问题

在实现测试框架的过程中我们也同样遇到了很多问题，比如：

• 怎么选取视频质量算法和其他比如说网络因子参数？

• 在全参考视频质量评估算法的计算中？

• 怎么实现测试结果和流程的可重复性？

• 怎么将发送视频帧和接收视频帧一一对应？

• 如何进行各种网络状态的模拟？

• 网络模拟的具体参数又是哪些呢？

• 如何和现有的待测试的视频通道无缝结合？与此同时，每个模块具体是怎么工作和设计的？

限于篇幅，这里不一一展开，更多的解决方案的细节以及开源代码，笔者将于 MTSC2019 大会现场分享  Intel 实时视频自动化测试框架  议题，期待与各位同行现场交流。

MTSC2019 测试开发大会 | 倒计时

掌握 AI+ 智能化测试落地实践，全面提升软件质量，尽在 MTSC2019！

MTSC2019   第五届中国移动互联网测试开发大会 将于  2019 年 6 月 28-29 日 在北京国际会议中心举行，60+ 来自 Google、BAT、TMD 等一线互联网企业的测试大咖分享软件质量保障最佳实践，涵盖 移动自动化测试、服务端测试、质量保障 QA、高新测试技术（AI+、大数据测试、IOT 测试），游戏测试，工程效率提升 等专题。

MTSC2019 大会日程确定，大会门票即将售罄，欲购从速！

TesterHome 福利时间

转发文章到朋友圈，抽奖赠送 TesterHome 定制版精美礼物（卫衣／图书等）、MTSC2019 测试开发大会门票或优惠折扣，以及其他福利等！

• Step1: 转发本文到朋友圈，扫描二维码加小助手微信；

• Step2 : 回复「 福利 」入群抽奖；

• SteP3 : 回复「 组团 」入群，以 团购优惠价 购买 MTSC2019 门票；
  

P.S. 对于  MTSC  往届参会者 ，可享受 7.5 折福利 ，请进群咨询；

关于 MTSC 大会

中国移动互联网测试开发大会 Mobile Testing Summit China（简称 MTSC）以“软件质量保障体系和测试研发技术交流”为主要目的，从  2015 年举办第一届至今，已成功举办了 4 届，共有 1000+ 家企业， 10000+ 测试工程师、测试经理、测试总监和 CTO 参会，受到了全行业的广泛关注，已经是中国互联网质量保证行业的顶级会议。

扫描二维码，或点 击“ 阅读原文 ” ，抢购 MTSC2019 大会 门票！