内容简介：Q Con 2017 PPT 学习笔记
我一直觉得，每次开技术会议之后，花时间把相关的 PPT 过一遍，无论是预习还是复习，都是开拓视野和思路的好方法。所以凡是能找到下载的，我都会看看，这里是我的学习笔记。
更新历史
- 2017.05.21: 开始更新
这里我简单划分成为几大类（及子分类），大家可以使用页面右边的目录挑选自己感兴趣的。
大数据
基于 Impala 构建实时用户行为分析引擎
- 用户行为：Who, When, Where, How, What，本质是一种特殊的日志数据
-
典型应用
- 运营监控：PV, UV, 销售，活跃用户
- 产品改进：用户粘性，核心流程转化，新功能使用情况
- 商业决策
- 灵活性 > 及时性 > 时效性
- 查询引擎：支持 SQL（足够灵活），交互式查询（足够快）
-
架构：底层 HBase + HDFS，上面是 Impala
- 基于 MPP 的查询引擎
- 较低的容错性
- 较高的内存需求
- 较高的查询效率
-
数据存储 Kudu + Parquet
- Kudu 存实时数据，Parquet 存历史数据
- 定期进行数据转储 Kudu -> Parquet
-
优化逻辑
- 使用每天的活跃用户数据构建 Bloom Filter
- Join 之前先用 Bloom Filter 进行过滤
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- 【每日笔记】【Go学习笔记】2019-01-04 Codis笔记
- 【每日笔记】【Go学习笔记】2019-01-02 Codis笔记
- 【每日笔记】【Go学习笔记】2019-01-07 Codis笔记
- Golang学习笔记-调度器学习
- Vue学习笔记（二）------axios学习
- 算法/NLP/深度学习/机器学习面试笔记
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
