电商推荐系统

分享嘉宾：张小凡

内容来源：作者授权

出品社区：DataFun

注：欢迎转载，转载请注明出处。

一、概述

从18年11月开始，接触推荐系统半年左右时间，对推荐系统有了基本的认识。相比于之前做的 nlp 任务，推荐系统复杂更多，数据来源更复杂、pipeline 更复杂、场景更复杂、业务更复杂、指标更复杂。在 NLP 部分的时候，绝大多数时间花在了数据-模型以及其 match 上。而在推荐里由于系统复杂度提升，多了更多的功夫在系统架构、代码重构、快速部署上，工程侧的东西在复杂系统中显得更为重要。秉着精益算法的思想，延续之前的系列，这里我结合自己的经验，给大家分享下如何快速的搭建一个不错 baseline 的推荐系统。请各位吸取精华、去其糟柏即可。

二、问题描述

今日主角：电商推荐系统

问题定义：为用户提供其最有可能产生交互的商品 ( 点击、购买、分享 )

问题举例：

• 活动页场景：淘宝、京东各电商首页、各个活动界面的商品推荐

• 购物中后置链路：购物车商品推荐、订单页商品推荐

技术价值：作为电商主要的业务场景，通过算法实现千人千面，由货找人，最大化商业指标

三、推荐 pipeline

据我说知，电商推荐系统大的框架如下，为了方便说明问题，我画了个图来解释下。

• trigger：触发阶段，该阶段是推荐的源头，可以是用户历史浏览商品、用户偏好。通常这些数据直接从日志获取，加以简单处理。

• match：召回阶段，通过触发器，我们拿到一些商品或者触发源 ( 类目、品牌 ) 后，我们去关联一些商品。这里比较重要的一部分就是通过商品-商品的关联。也就是推荐里面协同过滤发挥作用的地方。

• rank：排序阶段，召回后的商品量很大，我们可以通过一些 ctr ( 点击率 ) 、cvr ( 转化率 ) 模型对 topN 进行精细化排序。

• rerank：重排序，多为全局性考虑，需要对结果再次排序。比如类目打散、品牌打散，所以很多时候也叫打散阶段。

推荐pipeline

好叻，根据上图简单介绍下推荐流程：

• trigger：一个用户浏览一件连衣裙。

• match：看了这件连衣裙的用户也看了很多别的连衣裙。

• rank：对关联出来的 n 件商品进行点击率预估，此处加入个性化。

• rerank：对时间因素、品牌因素进行一些大散，避免品牌过于集中等。

四、推荐 pipeline 的思考

这里针对每个阶段进行一个细节讲解，指出个人觉得重要的地方。

思考1：关于 trigger 选取

• 电商场景中 trigger 的时效性很重要，用户越近操作的商品对于商业指标越好。

• trigger 多样性很重要，多路 trigger 能提升丰富度。

• trigger 中重点关注用户直接操作过的商品。

思考2：关于是否需要 trigger

• 向量化的思路席卷各个领域，user-vector item-vector 的匹配可以替换现有的 trigger+ 协同过滤的方案。该方案目前没有进行尝试，不确实是否是个比较好的 baseline ，一方面 vector 的 graph embedding 不一定能训练出来，中间不可控因素较多，在初期建议以可控的方式去搭建系统。

• 全向量化无疑是个值得探索的路子，更优雅。据说效果也更好，后续有积累后再分享。

思考3：协同过滤 user to item VS item to item

电商场景 item to item 可能更为合适：商品变化小、用户变化快；item-item 比 user to item 的结果上兴趣度更集中。

思考4：协同过滤的优劣

• 协同过滤是推荐的老姜了，协同的效果也非常 ok ，比内容匹配的指标要好很多。协同的力量是强大的。

• 劣势一般都来自冷启动，所以一定要搭配内容匹配去辅助冷启动。

• 匹配能力：深度学习来后，很多会进行高阶匹配，相比之下协同过滤也是有劣势的，不过这里很细了，不多说，更多会在 rank 做这部分改进。

思考5：rank VS match

• match 和 rank 都有打分功能，为什么要单独弄 rank ，大部分原因还是来自复杂度，如果复杂度允许的情况下，当然全局打分最好了。目前阿里在这个上面有出文章：任意深度学习+树状全库检索

  https://zhuanlan.zhihu.com/p/35030348

• 通常 match 量比较大，进行一个粗略的打分，然后对较为匹配的商品再给 rank 精细打分。

思考6：rank 模型

• 关于模型，这可以单开一篇了，这里以 wdl 做 baseline 即可。

• 做 ctr 、cvr 的话 ESMM 是一个非常好的通用架构，个人觉得该模型泛化能力强，可以尽早入手。

• 关于深度模型：DeepFM DCN DIN DIEN 这里模型太多，需要积累一段时间后才需要在 rank 阶段深耕，前期没必要在这里投入太多。

思考7：rerank VS rank

• 打散阶段更多是一个全局的考虑，目前的 rank 模型都是单个打分，没有全局打分的，全局信息目前来看包括时效性、兴趣集中度、业务逻辑等。

• 现在有些研究直接对序列进行打分，主要问题还在复杂度上，目前没有看到特别好的案例，所以基本还是分开这两个步骤，理论上可以统一的吧。

五、推荐业务思考

思考1：推荐场景差异度巨大

• 推荐活动场景、购物前置链路、购物后置链路差异巨大，需要差异化对待。

• 购物前置链路可能逛的需求更高，后置链路买的需求更高。

• 应该为每个场景培养用户心智，而不是大一统模型。

思考2：如何发现迭代点

任何看上去不合理的地方都是优化点，能做到像阿里这样的不多，很多公司的推荐、搜索仔细看都是能看出问题的，这里就是迭代点。

思考3：迭代流程

• 发现一个迭代点，找到可能有增益的地方，如果可以的话，事先评估下收益。

• 开发，评估，验证和思路是否不符。

• 如果没有提升：当所有可被证明的思路被证明后，仍然无提升，可以终止本次迭代，得出结论。

• 通常对一个不合理的地方进行迭代，都是可以有提升的，不要轻易放弃。

六、推荐系统思考

思考1：数据很重要，数据很重要，数据很重要！！！

同样是数据，相比于 NLP 中的数据，推荐的数据来源很杂，可控度不是那么高，里面噪声多，需要更细的去查，在做任何模型的时候要全面检查数据各个指标。分布是否合理，数值范围，默认值，数据规模，数据源，是否重复等。走模型前对数据一定要心里有数。

思考2：探案一样进行探索

一个迭代动作做完之后，如果没有效果或者负向效果，仔细去对比每个步骤，找到可以说服自己的理由。如果找不到就更细化的去分析，分用户，分不同 trigger 去分析。就像探案一样，推荐很多时候解释性还是非常强的，环环相扣，不要因为系统复杂有蒙混的心理。解释不通的地方通常可能会有惊喜。

思考3：快速部署

推荐系统比较复杂，搭建更快的部署方案能让开发时间大大缩减。把系统做好后，算法同学更好的集中精力处理问题，而不是花费大量的时间在部署上。

思考4：关于深度学习

做好 wdl 可能对于很多场景来说已经够了。做好细节可能比搞个高大上的模型有效的多，系统初期不建议花很多时间追高大尚的模型。

思考5：关于离线评估

推荐很多时候是做 ctr 、cvr 等指标。所以线下不好评估。但是找到一个合适的指标非常重要。比如 auc 、gauc ( 按用户级别平均 ) 、xgboost 里面的特征重要性。比如常用的 auc 可能就不是个好指标，因为用户等级不同，点击率分布就不同，随便一个模型就能把 auc 提升，但平均 auc 则不尽然。所以一个合适的离线指标很重要。有的时候需要和线上多次对比才能找到一个合适的指标。

思考6：推荐系统高性价比部分

• 复用组件：组件化能方便开发。

• AB测试：有效的线上测试是迭代的基础。

• 监控：对核心指标监控能让我们及时发现问题。

本文首发地址：

https://www.jianshu.com/p/fb99db68860f

——END——

文章推荐：

阿里妈妈：电商预估模型的发展与挑战

美团对话理解技术及实践

阿里小蜜中的情绪回复能力

关于 DataFun：

DataFun 定位于最实用的数据智能平台，主要形式为线下的深度沙龙、线上的内容整理。希望将工业界专家在各自场景下的实践经验，通过 DataFun 的平台传播和扩散，对即将或已经开始相关尝试的同学有启发和借鉴。

DataFun 的愿景是：为大数据、人工智能从业者和爱好者打造一个分享、交流、学习、成长的平台，让数据科学领域的知识和经验更好的传播和落地产生价值。

DataFun 成立至今，已经成功在全国范围内举办数十场线下技术沙龙，有超过三百位的业内专家参与分享，聚集了数万大数据、算法相关领域从业者。

来「在看」3000遍！:point_down: