深度CTR预估模型中的特征自动组合机制演化简史 zz

• )层cross layers的输出；
• , ∈

• 层layer的weight和bias参数。

在完成一个特征交叉f后，每个cross layer会将它的输入加回去，对应的mapping function ： →

，这里借鉴了残差网络的思想。

特征的高阶交叉（high-degree interaction）：cross network的独特结构使得交叉特征的阶（the degress of cross features）随着layer的深度而增长。对于第

。

复杂度分析：假设

。

一个cross network的时间和空间复杂度对于输入维度是线性关系。因而，比起它的deep部分，一个cross network引入的复杂度微不足道，DCN的整体复杂度与传统的DNN在同一水平线上。如此高效（efficiency）是受益于 0

的rank-one特性(两个向量的叉积)，它可以使我们生成所有的交叉项，无需计算或存储整个matrix。

关于DCN模型的实现，有一个重要的技巧可以节省大量的内存空间和训练时间，就是在计算cross layer的时候需要利用矩阵乘法的结合律，优先计算

的计算结果是一个标量，几乎不占用存储空间，具体请参考《 玩转企业级Deep&Cross Network模型你只差一步 》。

亲爱的读者们，你们脑中的那根弦还在吗？DCN是如何有效压缩高维特征空间的呢？其实，对于cross layer可以换一种理解方式：假设 ̃  ∈

等价于：

其中，行向量包含了所有 2

维的空间上。

DCN模型中使用的这种“压缩”机制是完美的吗，有没有什么局限性？实际上这种“压缩”方式把特征交互关系限定在一种特殊的形式上。我们再来看看cross layer的计算公式，为了简化，以便说明问题，下面去掉偏置项。

对于 1

，有如下公式:

合并可得到：

其中 1 = 0

的线性回归函数，也就是一个标量。

根据数学归纳法，当 =

时，我们可以得到

实际上， + 1

高度相关的。

因此，我们可以总结出DCN模型的两个主要的不足：

1. CrossNet的输出被限定在一种特殊的形式上
2. 特征交叉还是以bit-wise的方式构建的

让我们回到最初的那个问题， 有没有可能引入更高阶的vector-wise的交叉特征，同时又能控制模型的复杂度，避免产生过多的无效交叉特征呢？

极深因子分解机模型（xDeepFM）

xDeepFM 模型是自动构建交叉特征且能够端到端学习的集大成者，它很好的回答了上一小节末提出的问题。让我们来看看它是如何做到的。

为了实现自动学习显式的高阶特征交互，同时使得交互发生在向量级上，xDeepFM首先提出了一种新的名为 压缩交互网络 （Compressed Interaction Network，简称CIN）的模型。

CIN的输入是所有field的embedding向量构成的矩阵 0 ∈ ×

。

CIN中第

行的计算公式如下：

其中， ∘

。

上述计算公式可能不是很好理解，论文作者给出了另一种更加方便理解的视角。在计算 + 1

沿着各自embedding向量的方向计算外积的过程。

+ 1

个feature map堆叠而成，如下图所示。

正是通过卷积操作，CIN把第 + 1

个向量，起到了防止维数灾难的效果。

CIN的宏观框架如下图所示，它的特点是，最终学习出的特征交互的阶数是由网络的层数决定的，每一层隐层都通过一个池化操作连接到输出层，从而保证了输出单元可以见到不同阶数的特征交互模式。同时不难看出，CIN的结构与循环神经网络RNN是很类似的，即每一层的状态是由前一层隐层的值与一个额外的输入数据计算所得。不同的是，CIN中不同层的参数是不一样的，而在RNN中是相同的；RNN中每次额外的输入数据是不一样的，而CIN中额外的输入数据是固定的，始终是 0