大规模集群下的Hadoop高并发以及高性能架构原理总结【石杉的架构笔记】

欢迎关注个人公众号：石杉的架构笔记（ID:shishan100）

周一至周五早8点半！精品技术文章准时送上！

“ 又到周末，老规矩，周末不给大家送上“烧脑”的技术文章，我们稍微停一下脚步，总结一下之前的内容，温故而知新。

前言

这次我们总结的，主要是之前大数据的内容。这里笔者多说一句，笔者认为，大数据的技术、思想，对 Java 工程师来说也是非常重要的，Java工程师很有必要了解一些大数据的知识。

反过来，没有深厚的Java功底，大数据也好比是空中楼阁。举个例子，没有深厚的jdk源码功底，你甚至连Hadoop的源码都读不懂，更谈不上修复bug，二次开发。所谓浮沙之上，难筑高台，说的就是这个意思。

“闲扯”了这么多，那么我们就来做一个简单的总结：

第一篇

万丈高楼平地起，首先，大白话给大家聊了聊Hadoop的架构原理，通过大量的手绘图，尽量保证即使是没有接触过Hadoop的同学，读过之后，也能明白这款优秀的技术框架背后的架构原理。

Hadoop的架构原理，各位还记得吗？时间久远，有点模糊？OK，赶紧的迅速回顾一下！

点击下方文字直接跳转↓↓↓

兄弟，用大白话告诉你小白都能看懂的Hadoop架构原理

第二篇

性能优化，是大型系统永远避不开的一个话题。尤其是在高并发、分布式这种海量数据的场景下。

作为世界上最优秀的文件系统的大脑，HDFS的NameNode究竟采用了什么精妙的设计，能够轻松抗住每秒上千次的高并发访问？

点击下方文字直接跳转↓↓↓

大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问

第三篇

文件上传，是HDFS平时做的最多的工作之一。这个文件可不是几G、几十G的普通文件，而是那种动辄上TB的超级大文件。设计优秀的HDFS文件系统，势必不能容忍传统文件上传那样低下的性能。所以，你是否还记得，HDFS对大文件上传采取了何种优化方案？

点击下方文字直接跳转↓↓↓

「性能优化的秘密」Hadoop如何将TB级大文件的上传性能优化上百倍

第四篇

最后，大家再一起来看看，之前给各位聊过的Hadoop的HDFS里一个非常简单却优雅的一个算法的设计，看看他如何”悄无声息的”将大规模集群下Hadoop的性能提升了10倍以上！

点击下方文字直接跳转↓↓↓

Hadoop底层算法如何优雅的将大规模集群性能提升10倍以上？

后语

这里笔者又忍不住要再次建议一下，虽然这是大数据系统中的性能优化设计，但是对于Java的同学来说，也是非常具有借鉴意义的。大数据本质上就是分布式的系统。对于分布式的设计，有很多优秀的思想值得吸收。

所以，Java的同学，如果有时间，也建议多读读优秀的大数据系统的源码，比如Hadoop，它本身也是Java写的系统，这也是迅速提升技术内功的一条道路。

END

如有收获，请帮忙转发，您的鼓励是作者最大的动力，谢谢！

一大波微服务、分布式、高并发、高可用的原创系列

文章正在路上, 欢迎扫描下方二维码 ，持续关注：

石杉的架构笔记（id:shishan100）

十余年BAT架构经验倾囊相授