内容简介:也是一篇在CTR预估中堆Deep层数的轮子文,先来了解一下:不过xDeepFM所提出的点是结合RNN和CNN的特性完成多阶特征的抽取,并且最终和和DNN以及Linear整合到一起完成显性特征的使用。这儿
介绍
也是一篇在CTR预估中堆Deep层数的轮子文,先来了解一下:
- DeepFM:使用
FM
的特征组合能力灌给DNN进行joint-train - Deep⨯:根据首层和次层的依赖可以解决多阶特征组合的问题
不过xDeepFM所提出的点是结合RNN和CNN的特性完成多阶特征的抽取,并且最终和和DNN以及Linear整合到一起完成显性特征的使用。
CIN
据说有RNN和CNN结合的xDeepFM中最重要的核心元素是 CIN
(Compressed Interaction Network)
一个图来解释 CIN
:
这里:
- 我们输入的是一个m个特征的D维Embedding数据,简称$X^0 \in R^{m \times D}$,这个作为第一层
- 然后CIN有设计一种计算下一层的式子:$$X_{h,*}^k = \sum_{i=1}^{H_{k-1}} \sum_{j=1}^m W_{i,j}^{k,h}(X_{i,*}^{k-1} \circ X_{j,*}^0)$$
Deep⨯ sum pooling
这儿 CIN
各种复杂度:
- 他的参数复杂度是:$\sum_{k=1}^T H_k \times (1+H_{k-1} \times m)$
CIN
- 他的计算复杂度是:$O(mH^2DT)$
- 他单层的$Z^{k+1}$的计算复杂度是$O(mHD)$
- 并且额外的我们还需要将feature maps汇聚到$H$个隐藏节点
xDeepFM
最终的 xDeepFM
的大结构是参考了 Wide&Deep
的方式:
CIN DNN
他和 DeepFM
的关系:如果将 CIN
这一层里面的层数改为1,他其实就是一个FM
实验结果
里面描述的实验结果中,
看起来 xDeepFM
还是有一些提升的,不过主要提升是在 DianPing
数据集上,另外两个数据集提升的还是很微弱,在这种复杂度下,计算性能和带来的效果回报的受益就比较低了。
总结
- 感觉
xDeepFM
主要引入了Deep&Cross
里面的Cross
机制,就是在做堆叠 - 另外其实看到堆叠和交叉还是能带来一定效果的,但是受益越来越不明显了,如果运行性能和算法性能的性价比,
FM
无疑是最高,但是Deep模型可以说故事(chui)啊 - 作者开放了 源码 ,赞一个
文献
- Lian, Jianxun, et al. “xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems.” arXiv preprint arXiv:1803.05170 (2018).
以上所述就是小编给大家介绍的《据说有RNN和CNN结合的xDeepFM》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- 据说中台凉了?唔,真香
- 据说这里有一件数据库保密检查神器……
- 据说工作不饱和的时候、程序员喜欢写段子
- WebStorm 2018.2.5 发布,据说前端开发都在用的 IDE
- WebStorm 2018.2.5 发布,据说前端开发都在用的 IDE
- 据说 99.99% 的人都会答错的类加载问题
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。