技术专栏 | 如何做到30分钟内完成对数十亿受众数据的分析

智能营销云（Smart Marketing Cloud，以下简称SMC），是TalkingData推出的数字化营销平台。 依托TalkingData 及合作伙伴所提供的强大数据支撑，提供了一套从人群构建、客群洞察，再到同步投放、客观监测的一体化解决方案，帮助企业构建完整的数字化营销闭环。

一、受众分析需求及难点

SMC服务多个行业的广告主和广告代理，帮助他们对目标受众人群进行分析、洞察和触达。但是由于SMC汇集了包括一方企业数据、二方媒体数据和TalkingData自有数据在内的多源数据，数据量非常大；此外，为了对受众人群进行全面、深入的画像，TalkingData基于人口属性、移动端行为偏好等建立了拥有六大类别、800多个标签的标签体系，维度非常多。这对数据的处理分析提出了巨大的挑战。

在具体使用中，产品性能是企业非常重视的方面。为了提升SMC的性能，让用户能够快速、准确的实现目标受众洞察，我们从技术上对SMC的受众分析能力进行了三大方面的优化：

二、使用技术原理及方案

Bitmap计算

在SMC中，由于数据量巨大，我们对所有广告主构建的受众人群均会使用RoaringBitmap进行存储。由于RoaringBitmap只能存储整型数据，而我们需要处理的数据量在大多数情况下高达数十亿条，故我们将RoaringBitmap进行扩展，使之支持长整型数据。

原生RoaringBitmap只支持int类型，最大数据存储量为2147483647，由于TalkingData设备数据量约80亿，已远远超过RoaringBitmap的存储范围，所以需要使用长整型来扩展RoaringBitmap。

public void set(long offset) {
    int index = (int) (offset / max());
    int value = (int) (offset % max());
    bitmaps.get(index).set(value);
}

RocksDB加速计算

SMC的受众分析维度包含：人口属性维度、设备属性维度、商旅属性、App行为分析等。基于以上维度对某个广告受众人群包进行分析时，需要进行约10万次Bitmap的交并运算，此时系统CPU和I/O就成了瓶颈。于是我们采用RocksDB进行Bitmap的缓存，以减少I/O耗时。

RocksDB依靠大量灵活的配置，使之能针对不同的生产环境进行调优，包括直接使用内存、使用Flash、使用硬盘或者HDFS。支持使用不同的压缩算法，并且有一套完整的 工具 供生产和调试使用。

RocksDB优势如下：

• 为需要存储TB级别数据到本地FLASH或者RAM的应用服务器设计

• 针对存储在高速设备的中小键值进行优化——支持存储在flash或者直接存储在内存

随机抽样算法

随机抽样是最为常用的算法之一，它最大的特点是能够通过抽取、计算较小的数据样本量，来尽可能客观的推断数据总体特征。

我们需要进行随机抽样且保持有序，当总设备量为n，需要随机挑选出m个设备，其中m < n。输出是[0 , n-1] 范围内m个随机整数的有序列表，不允许重复。从概率的角度说，我们希望得到没有重复的有序选择，其中每个选择出现的概率相等。简单来说就是从n个数中， 随机抽取m个数据，并保持有序。

轮流判断n个数组成的列表中每个数的概率(m/n)，每次判断后n=n-1，若当前被判断的数被选择，则m=m-1，否则 m 不变。

public static Set<Long> random(long n,int m){
    Set<Long> set = new TreeSet<Long>();
    long remaining = n-1;
    for (long i = 0; i<n ;i++){
        if (Math.random() * remaining < m){
            set.add(i);
            m -= 1;
        }
        remaining -= 1;
    }
    return set;
}

采用随机抽样方式获得的占比结果还是会有一定偏差。经对比50组随机构建的受众人群包，对性别占比进行分析，相对误差率均未超过8%，在可接受范围之内。

推荐阅读：

↓↓↓ 点击阅读原文，申请试用TalkingData智能营销云