内容简介:Q Con 2017 PPT 学习笔记
我一直觉得,每次开技术会议之后,花时间把相关的 PPT 过一遍,无论是预习还是复习,都是开拓视野和思路的好方法。所以凡是能找到下载的,我都会看看,这里是我的学习笔记。
更新历史
- 2017.05.21: 开始更新
这里我简单划分成为几大类(及子分类),大家可以使用页面右边的目录挑选自己感兴趣的。
大数据
基于 Impala 构建实时用户行为分析引擎
- 用户行为:Who, When, Where, How, What,本质是一种特殊的日志数据
-
典型应用
- 运营监控:PV, UV, 销售,活跃用户
- 产品改进:用户粘性,核心流程转化,新功能使用情况
- 商业决策
- 灵活性 > 及时性 > 时效性
- 查询引擎:支持 SQL(足够灵活),交互式查询(足够快)
-
架构:底层 HBase + HDFS,上面是 Impala
- 基于 MPP 的查询引擎
- 较低的容错性
- 较高的内存需求
- 较高的查询效率
-
数据存储 Kudu + Parquet
- Kudu 存实时数据,Parquet 存历史数据
- 定期进行数据转储 Kudu -> Parquet
-
优化逻辑
- 使用每天的活跃用户数据构建 Bloom Filter
- Join 之前先用 Bloom Filter 进行过滤
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 【每日笔记】【Go学习笔记】2019-01-04 Codis笔记
- 【每日笔记】【Go学习笔记】2019-01-02 Codis笔记
- 【每日笔记】【Go学习笔记】2019-01-07 Codis笔记
- Golang学习笔记-调度器学习
- Vue学习笔记(二)------axios学习
- 算法/NLP/深度学习/机器学习面试笔记
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
企业IT架构转型之道:阿里巴巴中台战略思想与架构实战
钟华 / 机械工业出版社 / 2017-4-1 / 79
在当今整个中国社会都处于互联网转型的浪潮中,不管是政府职能单位、业务规模庞大的央企,还是面临最激烈竞争的零售行业都处于一个重要的转折点,这个转折对企业业务模式带来了冲击,当然也给企业的信息中心部门带来了挑战:如何构建IT系统架构更好地满足互联网时代下企业业务发展的需要。阿里巴巴的共享服务理念以及企业级互联网架构建设的思路,给这些企业带来了不少新的思路,这也是我最终决定写这本书的最主要原因。本书从阿......一起来看看 《企业IT架构转型之道:阿里巴巴中台战略思想与架构实战》 这本书的介绍吧!