内容简介:接着上篇文章日志中心的存储会是下面这样日志内容如下
接着上篇文章 百亿级流量实时分析统计 - 数据结构设计 我们已经设计好了日志的结构,接下来我们就准备要开始撸代码了,我最喜欢这部分的环节了,可是一个上来连就撸代码的程序肯定不是好程序员,要不先设计设计流程图?那来吧!!!
流程图
设计一
rsync ETL Mysql
设计二
- 用户发起文章操作,发起请求日志
- 日志将由SLB服务器进行负载到日志打点服务器。
- Filebeat 收集节点日志 到Kafka,主要是用来日志削峰使用。 **或者:**使用
nginx
直接将日志写入kafka,因为nginx
也是生产级别的。 - ETL 将消费Kafka 数据并写到Hbase。
- 与设计一相同
日志中心
日志中心的存储会是下面这样
├── log │ ├── 2019-03-21 │ │ ├── 111.12.32.11 │ │ │ ├── 10_01.log │ │ │ └── 10_02.log │ │ ├── 222.22.123.123 │ │ │ ├── 0_01.log │ │ │ ├── 0_02.log │ │ │ └── 0_03.log │ │ └── 33.44.55.11 │ ├── 2019-03-22 │ └── 2019-03-23 复制代码
- 每分钟每节点会生成一个文件。
- 一天一个文件夹。
- 这样子的设计可以方便查错。
日志内容如下
{"time":1553269361115,"data":{"type": "read","aid":"10000","uid":"4229d691b07b13341da53f17ab9f2416","tid": "49f68a5c8493ec2c0bf489821c21fc3b","ip": "22.22.22.22"}} {"time":1553269371115,"data":{"type": "comment","content":"666,支持一下","aid":"10000","uid":"4229d691b07b13341da53f17ab9f2416","tid": "49f68a5c8493ec2c0bf489821c21fc3b","ip": "22.22.22.22"}} 复制代码
敲定方案
选择设计一因为我们就看上了第 5 点,在线上业务稳定了一年的使用情况来看,这种方案是可行的。
在下篇文章中,我们将真实开始撸我们的黄金代码了,所有程序将使用 scala
进行实现,你想问我什么吗?四个字:
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- k8s中流量分离以及资源隔离实战
- Sentinel:分布式系统的流量防卫兵基础实战
- Sentinel:分布式系统的流量防卫兵进阶实战
- Spark+Hbase 亿级流量分析实战( PV/UV )
- Spark+Hbase 亿级流量分析实战(数据结构设计)
- 2 周流量激增百倍的腾讯课堂后台扩容和性能优化实战
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
The Four
Scott Galloway / Portfolio / 2017-10-3 / USD 28.00
NEW YORK TIMES BESTSELLER USA TODAY BESTSELLER Amazon, Apple, Facebook, and Google are the four most influential companies on the planet. Just about everyone thinks they know how they got there.......一起来看看 《The Four》 这本书的介绍吧!