IT资讯 腾讯开源|CenseoQoE - 视觉感知画质评价框架正式开源

roosevelt · 2021-11-19 15:00:07 · 热度: 50

CenseoQoE 是一个针对图像与视频感知画质评价从算法模型训练到应用落地的完整框架,主要包括通用的质量评价模型训练框架 CenseoQoE-Algorithm 和可开箱即用的图像/视频质量评价工具CenseoQoE-SDK。项目由腾讯互娱品质管理部TuringLab团队研发,已应用于腾讯先游云游戏、微信视频号和腾讯视频等多款产品,应用场景包括画质监控、码率/分辨率/编码参数的优化定档、低质视频过滤、视频推荐的推荐因子、竞品分析等,有效地实现了传输带宽和人工成本的节省以及更有效的视频推荐等。

主要设计目标

1.统一的训练代码范式

将模型训练中的数据加载、模型、损失函数、优化器、学习率策略等模块解耦,通过配置文件将这些组件耦合,方便研发人员做模型的训练和优化。

2.提供简单但高性能的基础模型

我们提出了简单但高性能的图像/视频质量评价统一模型,支持有参考/无参考的训练,在多个公开数据集上均获得了Strong Baseline。后续会持续迭代并集成更多业界开源的优秀的算法模型。

3.开源多种业务场景下的预训练模型

我们对不同的应用场景(比如UGC视频、带编解码压缩的PGC视频和游戏视频等)进行主观实验、构建相应的数据集并基于CenseoQoE-Algorithm训练模型,用户可以直接使用或基于这些预训练模型在私有业务数据上进行微调和优化。

项目未来规划

  • CenseoQoE-Algorithm 持续集成更多学术界及业界的优秀算法模型

  • 开源更多腾讯业务场景下的图像/视频质量评价预训练模型

  • CenseoQoE-SDK性能优化

开源地址:https://github.com/Tencent/CenseoQoE

猜你喜欢:
暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册