异常-hsql 小文件过多

栏目: 服务器 · 发布时间: 5年前

1.背景:

hive  做 insert overwrite select * from table 操作

出现异常:

[Fatal Error] total number of created files now is 100028, which exceeds 100000. Killing the job.

2.实际默认限制:

hive> set hive.exec.max.created.files;

hive.exec.max.created.files=100000

3.解决方案:

加上: DISTRIBUTE BY  

其他问题:因为会多一次shuffer 速度变慢,还可能分区不均匀导致问题

参考:

https://confusedcoders.com/data-engineering/etl/hive/hive-dynamix-partition-error-fatal-error-total-number-of-created-files-now-is-100000-which-exceeds-100000-killing-the-job

https://sungang-1120.iteye.com/blog/2262234


以上所述就是小编给大家介绍的《异常-hsql 小文件过多》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

PHP&MySQL Web数据库应用开发指南

PHP&MySQL Web数据库应用开发指南

Hugb E. Williams、David Lane / 谢君英 / 中国电力出版社 / 2003-5 / 69.00元

一起来看看 《PHP&MySQL Web数据库应用开发指南》 这本书的介绍吧!

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

html转js在线工具
html转js在线工具

html转js在线工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试