面对十亿数据量的技术挑战,如何对系统进行性能优化?【石杉的架构笔记】

栏目: 服务器 · 发布时间: 5年前

这篇文章,我们来聊一聊在十亿级的大数据量技术挑战下,世界上最优秀的大数据系统之一的Hadoop是如何将系统性能提升数十倍的?

如果对Hadoop这个大数据系统一点了解都没有,可以先看之前的一篇文章快速入个门: 兄弟,用大白话告诉你小白都能看懂的Hadoop架构原理

首先一起来画个图,回顾一下Hadoop HDFS中的超大数据文件上传的原理。

其实说出来也很简单,比如有个十亿数据量级的超大数据文件,可能都达到TB级了,此时这个文件实在是太大了。

此时,HDFS客户端会给拆成很多block,一个block就128MB。

这个HDFS客户端你可以理解为是云盘系统、日志采集系统之类的东西,比如有人上传一个1TB的大文件到网盘,或者是上传个1TB的大日志文件。

然后HDFS客户端把一个一个的block上传到第一个DataNode,第一个DataNode会把这个block复制一份,做一个副本发送给第二个DataNode,然后第二个DataNode发送一个block副本到第三个DataNode。

所以你会发现,一个block有3个副本,分布在三台机器上。任何一台机器宕机,数据是不会丢失的。

然后一个TB级大文件就被拆散成了N多个MB级的小文件存放在很多台机器上了,这不就是分布式存储么?

面对十亿数据量的技术挑战,如何对系统进行性能优化?【石杉的架构笔记】

今天要讨论的问题,就是那个HDFS客户端上传TB级大文件的时候,到底是怎么上传呢?

如果用一个比较原始的方式来上传,我们大概能想到的是下面这个图里的样子。

其实很简单,无非就是不停的从本地磁盘文件用输入流读取数据,然后读到一点,就立马通过网络的输出流写到DataNode里去。

面对十亿数据量的技术挑战,如何对系统进行性能优化?【石杉的架构笔记】

参见上图,对文件的输入流最多就是个FileInputStream,对DataNode的输出流,最多就是个Socket返回的OutputStream,然后中间找一个小的内存byte[]数组,进行流对考就行了。从本地文件读一点数据,就给DataNode发一点数据。

但是如果真是这么弄,性能真是极其的低下了,网络通信讲究的是适当频率,每次batch批量发送,你得读一大批数据,通过网络通信发一批数据。不能读一点点数据,就立马来一次网络通信,就发出去这一点点的数据。

如果按照上面这种原始的方式,绝对会导致网络通信效率极其低下,大文件上传性能很差。相当于你可能刚读出来几百个字节的数据,立马就写网络,卡顿个比如几百毫秒,然后再读下一批几百个字节的数据,再写网络卡顿个几百毫秒,这个性能很差,几乎在工业级的大规模分布式系统中,是无法容忍的。

Hadoop中的大文件上传如何优化性能?我们来看看下面那张图。

面对十亿数据量的技术挑战,如何对系统进行性能优化?【石杉的架构笔记】

你需要自己创建一个针对本地TB级磁盘文件的输入流,然后读到数据之后立马写入HDFS提供的FSDataOutputStream输出流。

这个FSDataOutputStream输出流在干啥呢?他会天真的立马把数据通过网络传输写给DataNode吗?

答案当然是否定的!这么干的话,不就跟之前的那种方式一样了!

1、Chunk缓冲机制

首先,数据会被写入一个chunk缓冲数组,这个chunk是一个512字节大小的数据片段,你可以这么来理解。

然后这个缓冲数组可以容纳多个chunk大小的数据在里面缓冲。光是这个缓冲,首先就可以让客户端快速的写入数据了,不至于说几百字节就要进行一次网络传输,对吧?

2、Packet数据包机制

接着,当chunk缓冲数组都写满了之后,就会把这个chunk缓冲数组进行一下chunk切割,切割为一个一个的chunk,一个chunk是一个数据片段。然后多个chunk会直接一次性写入另外一个内存缓冲数据结构,就是Packet数据包。

一个Packet数据包,设计为可以容纳127个chunk,大小大致为64mb。所以说大量的chunk会不断的写入Packet数据包的内存缓冲中。通过这个Packet数据包机制的设计,又可以在内存中容纳大量的数据,进一步避免了频繁的网络传输影响性能。

3、内存队列异步发送机制

当一个Packet被塞满了chunk之后,就会将这个Packet放入一个内存队列来进行排队,然后有一个DataStreamer线程会不断的获取队列中的Packet数据包,通过网络传输直接写一个Packet数据包给DataNode。

如果一个Block默认是128mb的话,那么一个Block默认会对应两个Packet数据包,每个Packet数据包是64MB。

也就是说传送两个Packet数据包DataNode之后,就会发一个通知说,一个Block的数据都传输完毕,那DataNode就知道自己收到了一个Block了,包含了人家发送过来的两个Packet数据包。

总结:

ok,大家看完了上面的那个图以及hadoop采取的大文件上传机制,是不是感觉设计的很巧妙?

工业级的大规模分布式系统,都不会采取特别简单的代码和模式,那样性能很低下。这里都有大量的并发优化、网络IO优化、内存优化、磁盘读写优化的架构设计、生产方案在里面。

所以大家观察上面那个图,hdfs客户端可以快速的将tb级大文件的数据读出来,然后快速的交给hdfs的输出流写入内存,基于内存里的chunk缓冲机制、packet数据包机制、内存队列异步发送机制,绝对不会有任何网络传输的卡顿,导致大文件的上传速度变慢。反而通过上述几种机制,可以大幅度提升一个TB级大文件的上传性能。

END

欢迎长按下图关注公众号: 石杉的架构笔记!

公众号后台回复 资料 ,获取作者独家秘制学习资料

石杉的架构笔记,BAT架构经验倾囊相授

面对十亿数据量的技术挑战,如何对系统进行性能优化?【石杉的架构笔记】


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

系统程序员成长计划

系统程序员成长计划

李先静 / 人民邮电出版社 / 2010-04 / 45.00

在学习程序开发的过程中,你是否总是为自己遇到的一些问题头疼不已,你是否还在为写不出代码而心急如焚?作为软件开发人员,你是否时时为自己如何成为一名合格的程序员而困惑不已?没关系,本书将为你排忧解难。 这是一本介绍系统程序开发方法的书。书中结合内容详尽的代码细致讲述了不少底层程序开发基础知识,并在逐步深入的过程中介绍了一些简单实用的应用程序,最后还讲述了一些软件工程方面的内容,内容全面,语言生动......一起来看看 《系统程序员成长计划》 这本书的介绍吧!

SHA 加密
SHA 加密

SHA 加密工具

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具