据说有RNN和CNN结合的xDeepFM

栏目: R语言 · 发布时间: 6年前

内容简介:也是一篇在CTR预估中堆Deep层数的轮子文,先来了解一下:不过xDeepFM所提出的点是结合RNN和CNN的特性完成多阶特征的抽取,并且最终和和DNN以及Linear整合到一起完成显性特征的使用。这儿

介绍

也是一篇在CTR预估中堆Deep层数的轮子文,先来了解一下:

  1. DeepFM:使用 FM 的特征组合能力灌给DNN进行joint-train
  2. Deep⨯:根据首层和次层的依赖可以解决多阶特征组合的问题

不过xDeepFM所提出的点是结合RNN和CNN的特性完成多阶特征的抽取,并且最终和和DNN以及Linear整合到一起完成显性特征的使用。

CIN

据说有RNN和CNN结合的xDeepFM中最重要的核心元素是 CIN (Compressed Interaction Network)

一个图来解释 CIN :

据说有RNN和CNN结合的xDeepFM

这里:

  1. 我们输入的是一个m个特征的D维Embedding数据,简称$X^0 \in R^{m \times D}$,这个作为第一层
  2. 然后CIN有设计一种计算下一层的式子:$$X_{h,*}^k = \sum_{i=1}^{H_{k-1}} \sum_{j=1}^m W_{i,j}^{k,h}(X_{i,*}^{k-1} \circ X_{j,*}^0)$$
    Deep⨯
    sum pooling
    

这儿 CIN 各种复杂度:

  1. 他的参数复杂度是:$\sum_{k=1}^T H_k \times (1+H_{k-1} \times m)$
    CIN
    
  2. 他的计算复杂度是:$O(mH^2DT)$
    • 他单层的$Z^{k+1}$的计算复杂度是$O(mHD)$
    • 并且额外的我们还需要将feature maps汇聚到$H$个隐藏节点

xDeepFM

最终的 xDeepFM 的大结构是参考了 Wide&Deep 的方式:

据说有RNN和CNN结合的xDeepFM
CIN
DNN

他和 DeepFM 的关系:如果将 CIN 这一层里面的层数改为1,他其实就是一个FM

实验结果

里面描述的实验结果中,

据说有RNN和CNN结合的xDeepFM

看起来 xDeepFM 还是有一些提升的,不过主要提升是在 DianPing 数据集上,另外两个数据集提升的还是很微弱,在这种复杂度下,计算性能和带来的效果回报的受益就比较低了。

总结

  1. 感觉 xDeepFM 主要引入了 Deep&Cross 里面的 Cross 机制,就是在做堆叠
  2. 另外其实看到堆叠和交叉还是能带来一定效果的,但是受益越来越不明显了,如果运行性能和算法性能的性价比, FM 无疑是最高,但是Deep模型可以说故事(chui)啊
  3. 作者开放了 源码 ,赞一个

文献

  1. Lian, Jianxun, et al. “xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems.” arXiv preprint arXiv:1803.05170 (2018).

以上所述就是小编给大家介绍的《据说有RNN和CNN结合的xDeepFM》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

SQL必知必会

SQL必知必会

福达 (Ben Forta) / 钟鸣、刘晓霞 / 人民邮电出版社 / 2013-5-1 / 29.00元

SQL语法简洁,使用方式灵活,功能强大,已经成为当今程序员不可或缺的技能。 本书是深受世界各地读者欢迎的SQL经典畅销书,内容丰富,文字简洁明快,针对Oracle、SQL Server、MySQL、DB2、PostgreSQL、SQLite等各种主流数据库提供了大量简明的实例。与其他同类图书不同,它没有过多阐述数据库基础理论,而是专门针对一线软件开发人员,直接从SQL SELECT开始,讲述......一起来看看 《SQL必知必会》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换