从 0 到 1：腾讯 Yoo 视频底层页推荐系统实践

本次分享主要包括以下几个部分：

1. 业务背景

底层页指在点击左侧双列 feed 流中点击一个视频（1 号）后继续滑动出现的视频（234 号）

在底层页推荐场景中除了需要考虑和主视频的相关性以外，还需要考虑上下文（用户对视频 234 的行为）。

底层页的整体框架如上图所示，当客户端发起推荐列表请求，服务端会依次做以下事情：

1. 请求画像服务，得到描述用户兴趣的特征；

2. 请求 Trigger，由若干个不同机制的 Trigger 分别得到不同的召回集；

3. 合并召回结果，输入 rank 层做排序；

4. 经过一些产品 / 业务策略的规则组成的曝光策略服务得到最终的视频 list，发给用户。

服务的底层，直接和线上服务打交道的，包括做向量相似度计算的 faiss，做缓存的 redis，做消息队列的 Hippo，还有一些数据分发服务。

再下面一层则是大数据计算平台 Hadoop，Spark，SparkStreaming，以及机器学习计算平台 Angel 和 Tensorflow。

2. 召回相关技术与实践

召回策略主要分为以下 4 个方向：

1. 基于热门：在冷启动阶段，缺少用户行为的时候，用高质量视频做推荐；

2. 基于属性：根据年龄，性别，地域等用户属性，不同属性的用户有不同的兴趣偏好；

3. 基于内容： 根据视频的标题，标签，图片等等，找相似的视频；

4. 基于行为：根据用户的点击 / 播放行为序列，建模计算相关的视频。

ICF 方法（基于物品的协同过滤）原理是比较两个视频观看过的用户列表，重合度越高则越相似。在计算协同过滤相似度时对原始公式做了以下优化：

1. 考虑用户看两个视频相隔的时间，在分子上乘一个衰减系数，时间越长相关性越低；

2. 考虑用户看视频的数量，在分母乘以衰减系数，对看大量视频的用户做降权；

3. 不同的主 item 对应的其他 item 的 list 中分数的最大值可能差异很大，可以对每个主 item 做归一化处理。

表示学习的思路是类似 word2vec，为每个样本（通过 embedding）生成一个向量，再计算向量的相似度找到相似的样本。可以利用的数据例如视频封面，视频标题，视频标签和行为序列。

ImageEmbedding 召回因为样本比较少，做分类模型困难，所以采用预训练的方法。加载 Inception 模型，输入图像做前向计算，将 softmax 前的输出层取出来即可得到一个 embedding 向量，最后使用 faiss 找到最相似的向量，也就找到了最相似的图片。评估目前采用人工的方法，人工评估召回的 topN 图片中有几个是相似的。

Title/Tag Embedding 有两种方法：第一种是标准的 word2vec 模式，用自己的标题 / 标签数据训练一个词向量模型。这种方法的召回结果不太好，分析原因是数据量小。第二种是采用了公开词向量数据，这种用海量数据训练得到的预训练词向量模型，效果比第一种更好。

Network Embedding 召回也叫 Graph Embedding，有三种方式： 1. 矩阵分解： 效果不太好，用的比较少 2. 随机游走： 利用随机游走构造一些序列做 embedding 3. 具体使用中最直接的方法是：把用户的播放列表当作 nlp 中的一个句子（每个视频作为一个单词）训练 word2vec。直接用 word2vec 会有一些问题，可以优化的方式包括：1. 对高低频的 item（视频）做过滤和降采样 2. 合理的划分 session（取多少天的数据）。

Network Embedding 常见的做法并不是先将样本直接构造成 skip-gram 的形式，而是先把行为序列构造成图的形式，然后针对每个节点进行随机游走，生成一些候选序列，再去做 Embedding 学习。这样做存在的问题 1：新的 item 缺少行为数据导致图稀疏，解决方案是将最近几个小时看的视频两两做全连接。问题 2 是热门视频：解决方案是对视频做聚类。

推荐系统的常规做法是分召回，排序两个阶段。原因是如果对全量数据（用户数 * 物品数）做排序，计算量可能太大，所以先用召回层减少候选集的大小。除非在某些特殊情况下，对全库做 排序 也许是可行的，如果物品的数量不是很大，比如只有几十 / 几百万，再把模型的特征减少。当候选池达到上亿甚至更多的时候就不可行了，尽管使用 embedding 方法可以近似选择全局最优，但是计算距离的方法比较单一。

高阶的方法是采用阿里提出的一种 tree-based deep match 的方法，核心的思想是要从全部候选池中找到用户感兴趣的 item，为了减少问题的规模，将候选集构建成树结构，只有叶子节点才是单个的 item，每个非叶子节点潜在表达了子孙 items。

第一步：将视频按照二级分类排序，使得相同二级类目的视频处在相邻的位置，所有视频组成一个 list。第二步：递归的将 list 一分为二得到左右子树，直到每个 list 只剩下一个或两个视频。这样就构建出了一个有层级结构的树。

将用户的历史行为序列和树中的目标节点做点积，经过深度神经网络之后得到用户对每个候选节点感兴趣的概率。

训练时正样本选择有播放行为的叶子结点和它的祖先。负样本有两种选择：(a) 每层随机选择节点作为负样本，这样做的好处是结果的多样性好 (b) 每层选择兄弟节点作为负样本，这样做的好处是和历史行为更匹配。完整的召回过程是自顶向下的依次对每个节点打分，选择 topk，遇到叶子节点就放入召回池，遇到非叶子节点就继续向下寻找。

树形结构的好处除了可以做全库检索，还会有更好的多样性。这样做更符合人脑的特点，人通常不会只对某一种类别的内容感兴趣，而是对不同的内容都或多或少的有兴趣。

最后总结一下：最初级的方法是基于统计的协同过滤系列，之后演化出进阶的 Embedding 系列之所以应用比较广很大程度上受益于 faiss 提高了向量相似度计算的效率，目前最前沿的是 TDM 这种全库查询的方式。

3. 排序相关技术与实践

接下来介绍排序模块，大致经历了 LR，Deep，Wide&Deep 三个阶段，其中 LR 模型暂时不做介绍。

深度模型目前采用了一种比较基础的架构。底层是 sparse feature id。接下来 embedding，每一列是一个 field，比如画像信息、上下文等等。然后 concat，经过全联接的隐藏层之后输出。DNN 模型的效果与 LR 相比没有很大提升，原因是低阶特征组合能力不足，但好处在对稀疏特征的表达能力有提升。

Wide&Deep 模型的 Wide 部分和 LR 的做法相同，所以克服了 DNN 模型的缺点，auc 相对 LR/DNN 有 1% 的提升，不过依然依赖于人工做一些交叉特征。

Wide&DCN 模型是 2017 年谷歌提出来的，它的特点是加入了一个 cross 层做特征交叉，具体的交叉方式如公式所示：每一层的 Embedding 由上一层和第 0 层交叉，每一层中的每个元素的交叉由阶数确定，最终形成了多阶交叉的效果。离线 auc 和 W&D 相比提高 1%，而 DeepFM 和 W&D 相比提升不大。

最后在介绍一下工程方面的实践经验。排序的难点是要求实时，并且特征和样本的数量都很大。下面将会从样本数据，特征结构，离线训练，线上推断和模型调试五个方面分别介绍。

Tensorflow 有两种处理特征的方式：明文 vs 二进制（TFRecord）。明文的特点是可读性好，但是速度慢。二进制虽然速度快，但也存在一些问题，只支持三种格式的数据，而且 String 结构比较占用空间，解析速度也慢。

特征结构尝试过三种方式。第一种是明文形式，FeatureColumn 的速度非常慢，特征 ID 化方式比 FeatureColumn 快十倍，不论离线训练还是线上推断都是如此。后两种是特征 ID 的形式。

第一种是开放的特征 id，使用方便，只需要把特征做 hash，但缺点是 Tensorflow 底层 dense 结构无法支持。第二种是序列化特征 id，这种做法的缺点是序列化速度慢，好处是可以做特征预处理。

离线训练使用的是数据分布式模式，数据并行计算梯度。模型是集中式的，非分布式存储，每片数据计算的梯度使用同步方式更新模型。

线上推断有两种方式。一种是 TFServing，这种方式存在一些问题。因为加载模型和模型推断是采用同一个线程，所以在加载模型的时候会出现推断服务短暂阻塞，造成超时。TFServing 还会定时自动加载目录中的模型文件，如果模型有问题也会自动加载模型，这是我们不希望发生的。另外在模型加载初期会出现响应慢的现象，通常称为 WarmUp 问题。不过可以通过 BatchThread 提升计算效率。

还有一种方式是用 TensorflowAPI 进行推断，可以自行设置触发条件控制模型的加载，而不限制于一定要固定的时间间隔加载一次。另外还可以自行调用 session 函数进行并行推断。

在提高模型的训练效率方面，有不少可以尝试的优化点，比如 batchsize 的调整，Tensorflow 中 dataset api 中 cache 的使用，特征选择及 Embedding 调整，隐藏层个数及纬度的调整，样本降采样等等。使用 Tensorflow timeline 工具可以帮忙快速定位耗时函数，加速模型训练。

在提高模型的推断效率方面，可以优化线上特征数据拼接效率，及控制线程和 batch 之间的比例。

在提高效果方面，数据量越大越好，使用 tensorboard 关注实时 auc 和明文输出 bias/loss 等数据，尽早发现模型训练中的错误。

模型的演化过程大致经过了线性模型，非线性模型，兴趣模型这几个阶段。推荐和搜索业务的关注点是有一些不同的，推荐更关注对用户兴趣的描述，而搜索关注对 query 的理解。阿里的 DIN 和 DIEN 是大家公认对效果提升比较明显的。

4. 思考及未来规划

最后是一些思考和未来的规划。Embedding 方面计划讲将行为和内容融合到一起做 embedding，还有一种方式将用户行为构建成图，利用图卷积神经网络做 embedding 学习。另一方面是序列化数据的利用，用 LSTM/GRU 做序列化的 item 推荐，或者直接对序列化行为建模用户兴趣，这些方法时间复杂度高，工程挑战较大。利用 Bandit 算法去做用户兴趣探索是常用的一种做法，后续将会探索强化学习尤其深度强化学习在兴趣探索上的应用。

此外两个难点，一个是多任务学习，因为有的时候任务目标不仅仅是点击率，还需要提高停留时长等指标。另一个是多模态，把图片和视频数据如何用到召回中来。

作者介绍：

钱丁丁，腾讯高级研究员。Yoo 视频底层页视频排序技术负责人，带领团队从 0 到 1 搭建短视频排序技术体系，并实现了从浅层机器学习模型到深度模型的升级换代。毕业之后加入搜狗商业部门，负责无线搜索广告的 排序算法 工作。曾在腾讯网络媒体事业部，负责天天快报新闻推荐系统排序算法工作。

本文来自钱丁丁在 DataFun 社区的演讲，由 DataFun 编辑整理。