hive，hadoop，yarn相关总结

Hadoop参数调优

1. 设置合理的槽位数目

在Hadoop中，计算资源是用槽位（slot）表示的。slot分为两种：Map slot和Reduce slot。

2. 调整心跳间隔 

心跳中包含节点资源使用情况、各任务运行状态等信息，如果太小，NameNode需要处理高并发的心跳信息，势必造成不小的压力；如果太大，则空闲的资源不能及时通知NameNode（进而为之分配新的Task），造成资源空闲，进而降低系统吞吐率。

3. 选择合适的压缩算法 

Hadoop通常用于处理I/O密集型应用。对于这样的应用，Map Task会输出大量中间数据，这些数据的读写对用户是透明的，如果能够支持中间数据压缩存储，则会明显提升系统的I/O性能。

4. 启动预读取机制

预读取机制可以有效提高磁盘的I/O读性能。而Hadoop是典型的顺序读系统，采用预读取机制可明显提高HDFS读性能和MapReduce作业执行效率。

5. 设置任务超时时间 

在一些特殊情况下，一个任务可能因为某种原因（如Bug）阻塞了，这会拖慢整个作业的执行进度，甚至可能导致作业无法运行结束。针对此情况，Hadoop增加了任务超时机制。如果一个任务在一定时间间隔内没有汇报进度，则TaskTracker会主动将其杀死，从而在另一个节点上重新启动执行。

6. 提高作业优先级 

HIGH、NORMAL、LOW、MID、DEFAULT

7. Map Task调优 

Map Task的输出结果被暂时存放在一个环形缓冲区，调整环形缓冲区

8. Reduce Task调优 

Reduce Task会启动多个拷贝线程从每个Map Task上读取相应的中间结果。对每个待拷贝的文件，如果文件大小小于一定阈值A，则将其放到内存中，否则以文件的形式存放到磁盘上。如果内存中文件满足一定条件D，则会将这些数据写入磁盘，而当磁盘上文件数目达到io.sort.factor（默认是10）时，进行一次合并。用户可根据自己作业的特点对这些参数进行调优。

9. dfs.namenode.handler.count或mapred.job.tracker.handler.count用于处理RPC的线程数，

默认是10，较大集群，可调大些

10. 文件副本数

11. HDFS中数据block大小

YARN原理：

Yarn作为Hadoop的资源调度框架：

ResourceManager：ResourceManager是master上的进程，负责整个分布式系统的资源管理和调度。他会处理来自client端的请求（包括提交作业/杀死作业）；启动/监控Application Master；监控NodeManager的情况。

NodeManager：NodeManager时处在slave节点上的进程，他只负责当前slave节点的资源管理和调度，以及task的运行。他会定期向ResourceManager回报资源/Container的情况（heartbeat）；接受来自ResourceManager对于Container的启停命令。

Application Master：每一个提交到集群的作业都会有一个与之对应的Application Master来负责应用程序的管理。他负责进行数据切分；为当前应用程序向ResourceManager去申请资源（也就是Container），并分配给具体的任务；与NodeManager通信，用来启停具体的任务，任务运行在Container中；而任务的监控和容错也是由Application Master来负责的。

container：它包含了Application Master向ResourceManager申请的计算资源，比如说CPU/内存的大小，以及任务运行所需的环境变量和队任务运行情况的描述。   

YARN调优：

1.动态分配资源，减少资源浪费

2.增大作业并行程度

3.给每个任务足够的资源

4.在满足前2个条件下，尽可能的给shuffle预留资源

MapReduce 优化方法

1.合并小文件

在执行 mr 任务前将小文件进行合并，大量的小文件会产生大量的 map 任务，增大 map 任务装载次数，而任务的装载比较耗时，从而导致 mr 运行较慢。

2.减少溢写（spill） 次数

通过调整 io.sort.mb 及 sort.spill.percent 参数值，增大触发spill 的内存上限，减少 spill 次数，从而减少磁盘 IO。

3. 减少合并（merge） 次数

通过调整 io.sort.factor 参数，增大 merge 的文件数目，减少 merge 的次数，从而缩短 mr 处理时间。

4. 在 map 之后， 不影响业务逻辑前提下， 先进行 combine 处理，减少 I/O。

5.合理设置 map 和 reduce 数：两个都不能设置太少，也不能设置太多。太少，会导致 task 等待，延长处理时间；太多， 会导致 map、 reduce 任务间竞争资源，造成处理超时等错误。

6.合理设置 reduce 端的 buffer

默认情况下，数据达到一个阈值的时候， buffer 中的数据就会写入磁盘，然后 reduce 会从磁盘中获得所有的数据。

7. 采用数据压缩的方式，减少网络 IO 的的时间

数据倾斜：

1.数据倾斜症状：

A.任务长时间维持在99%（或100%）;

B.查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成（这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多）

C.某个task发生了OOM，那么基本上也是因为数据倾斜了，task分配的数量实在是太大了！！！所以内存放不下，然后你的task每处理一条数据，还要创建大量的对象。内存爆掉了。

D.hadoop上某一个区域的数据量要远远大于其他区域。 

2.数据倾斜原因：

A.key分布不均匀；

B.业务数据特点

3. 导致数据倾斜的操作：GROUP BY, COUNT DISTINCT()，join

4. 数据倾斜的解决方案：

A.调整并行度,分散同一个task的不同Key

在做shuffle操作时,默认使用的HashPartitioner对数据进行分区。并行度设置不合理,会造成大量不同key对应的数据被分配到同一个task上 。（调整并行度;一般是增大并行度,但有时候减少并行度也能达到效果，reduceByKey在第二个参数中指定并行度来）

B.自定义Partitioner

使用自定义的Partitioner,将原本被分配到同一个task的不同key分配到不同的task。

C.将Reduce Join（Common Join）转变成Map Join（设置参数，吧小表的rdd信息放到broadcast中）。

D.为倾斜(skew)的key增加随机的前/后缀

为数据量特别大的key增加随机的前/后缀,使得原来key相同的数据变为key不同的数据,从而使倾斜的数据集分散到不同的task中（如每个key前加一个随机数和下划线分隔符后第一次聚合，第二次聚合时候通过下划线去掉前缀）

E. 在hive的etl时候进行数据聚合，把key相同的数据聚合为一条数据，这样就可能不用shuffle了

F. 使用 Combine 可以大量地减小数据倾斜。在可能的情况下， combine 的目的就是聚合并精简数据。

HIVE原理：

Hive是一个 SQL 解析引擎，将SQL语句转译成MR Job，然后再Hadoop平台上运行；Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。本质就是Hadoop的目录文件，达到了元数据与数据存储分离的目的；Hive本身不存储数据，它完全依赖HDFS和MapReduce

Hive 在加载数据的过程中不会对数据进行任何处理，甚至不会对数据进行扫描，因此也没有对数据中的某些 Key 建立索引（hive不存储数据，因此没有索引）

HQL----》转换成mapreduce------》提交任务给hadoop（读取，计算）

Hive是如何将SQL转化为MapReduce任务的，整个编译过程分为六个阶段：

1.SQL词法，语法解析，形成抽象语法树AST Tree：

语法规则文件，定义好词法和语法替换规则即可，Antlr完成了词法分析、语法分析、语义分析、中间代码生成的过程。

2.SQL基本组成单元QueryBlock：

AST Tree仍然非常复杂，不够结构化，不方便直接翻译为MapReduce程序，AST Tree转化为QueryBlock就是将SQL进一部抽象和结构化。

QueryBlock是一条SQL最基本的组成单元，包括三个部分：输入源，计算过程，输出。简单来讲一个QueryBlock就是一个子查询。

3.生成逻辑操作符Operator

Hive最终生成的MapReduce任务，Map阶段和Reduce阶段均由OperatorTree组成。基本的操作符包括TableScanOperator，SelectOperator，FilterOperator，JoinOperator，GroupByOperator，ReduceSinkOperator

4.逻辑层优化器：

大部分逻辑层优化器通过变换OperatorTree，合并操作符，达到减少MapReduce Job，减少shuffle数据量的目的。

5.OperatorTree生成MapReduce Job的过程

遍历

总结为：

1. Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree 

2. 遍历AST Tree，抽象出查询的基本组成单元QueryBlock 

3. 遍历QueryBlock，翻译为执行操作树OperatorTree 

4. 逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量 

5. 遍历OperatorTree，翻译为MapReduce任务 

6. 物理层优化器进行MapReduce任务的变换，生成最终的执行计划

HIVE优化：

1.解决数据倾斜问题（慎用count(distinct)，count(distinct)容易产生倾斜问题。），找到造成倾斜的key

2.设置合理的map reduce 的task数量 （参数）

3.合并小文件（使用Sequencefile作为表存储格式， 减少reduce的数量， 使用hadoop archive命令把小文件进行归档， 参数）

4.列裁剪，分区裁剪

5.存储格式选择

6.MAP JOIN （小表读入内存，上传至Distributed Cache中，避免了shuffle）

7.模式选择（本地模式 ，并行模式 ，严格模式  参数控制）

8.JVM重用 （减少JVM的启动过程， 参数）

9.推测执行 （参数控制）