异常-hsql 小文件过多

栏目: 服务器 · 发布时间: 6年前

1.背景：

hive 做 insert overwrite select * from table 操作

出现异常：

[Fatal Error] total number of created files now is 100028, which exceeds 100000. Killing the job.

2.实际默认限制：

hive> set hive.exec.max.created.files;

hive.exec.max.created.files=100000

3.解决方案：

加上： DISTRIBUTE BY

其他问题：因为会多一次shuffer 速度变慢，还可能分区不均匀导致问题

参考：

https://confusedcoders.com/data-engineering/etl/hive/hive-dynamix-partition-error-fatal-error-total-number-of-created-files-now-is-100000-which-exceeds-100000-killing-the-job

https://sungang-1120.iteye.com/blog/2262234

以上所述就是小编给大家介绍的《异常-hsql 小文件过多》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对码农网的支持！

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

JavaScript DOM编程艺术（第2版）

[英] Jeremy Keith、[加] Jeffrey Sambells / 杨涛、王建桥、杨晓云等 / 人民邮电出版社 / 2011-4 / 49.00元

JavaScript是Web开发中最重要的一门语言，它强大而优美。无论是桌面开发，还是移动应用。JavaScript都是必须掌握的技术。W3C的DOM标准是开发Web应用的基石。已经得到所有现代浏览器的支持，这使得跨平台Web开发成了一件轻松惬意的事。本书是超级畅销书的升级版，由倡导Web标准的领军人物执笔，揭示了前端开发的真谛，是学习JavaScript和DOM开发的必读之作。本......一起来看看《JavaScript DOM编程艺术（第2版）》这本书的介绍吧!

码农工具