异常-hsql 小文件过多

栏目: 服务器 · 发布时间: 5年前

1.背景:

hive  做 insert overwrite select * from table 操作

出现异常:

[Fatal Error] total number of created files now is 100028, which exceeds 100000. Killing the job.

2.实际默认限制:

hive> set hive.exec.max.created.files;

hive.exec.max.created.files=100000

3.解决方案:

加上: DISTRIBUTE BY  

其他问题:因为会多一次shuffer 速度变慢,还可能分区不均匀导致问题

参考:

https://confusedcoders.com/data-engineering/etl/hive/hive-dynamix-partition-error-fatal-error-total-number-of-created-files-now-is-100000-which-exceeds-100000-killing-the-job

https://sungang-1120.iteye.com/blog/2262234


以上所述就是小编给大家介绍的《异常-hsql 小文件过多》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

计算机算法导引

计算机算法导引

卢开澄 / 第2版 (2006年1月1日) / 2006-1 / 38.0

本书为《计算机算法导引——设计与分析》的第2版。书中内容分3部分:第1部分是基本算法,按方法论区分,包含优先策略与分治策略、动态规划、概率算法、并行算法、搜索法、数据结构等;第2部分是若干专题,包括排序算法、计算几何及计算数论、线性规划;第3部分是复杂性理论与智能型算法,其中,智能型算法主要介绍了遗传算法和模拟退火算法。本书可作为计算机系本科学生及研究生教材,数学系师生和科研T作者也可将其作为参考......一起来看看 《计算机算法导引》 这本书的介绍吧!

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具