在hive中，会有这样一种情形：
1、创建一个分区外部表A(比如A表有5个字段)，并且向A表里指定的分区(比如20160928这个分区)里插入数据
2、发现A表缺少一些字段，因为存在元数据不实时更新的问题，不想更新元数据，就进行删表重新建表B(表B与表A除了多了几个字段外，别的都一样)
3、再执行hql脚本，把最新的字段样式的数据插入到20160928这个分区里
会出现如下的报错：
Failed with exception java.io.IOException:
rename for src path: hdfs://bdc/are_wek/date=20160928/
.hive-staging_hive_xxxxxx-1/-ext-10000/000000_0 to dest
path:hdfs://bdc/are_wek/date=20160928/000000_0 returned false
FAILED: Execution Error, return code 1 from
org.apache.hadoop.hive.ql.exec.MoveTask. java.io.IOException:
rename for src path: hd
fs://bdc/are_wek/date=20160928/.hive-staging_hive_xxxxxxx-1/-
ext-10000/000000_0 to dest
path:hdfs://bdc/are_wek/date=20160928/000000_0 returned
false
这个错误是指hadoop在把hql执行结果从临时文件挪到对应的表所在的目录时出错；
出现这个问题的原因是：
1、我只是drop了表，其实只是删除了表的元数据，但是表对应的数据文件依然还在hdfs上；
2、hive在把临时文件挪移到正式目录时，会先对hdfs上的文件做一个判断，如果文件夹不存在那就创建，如果存在那就直接把文件挪移过去，这样就等于把临时文件夹里的000000_0文件挪到正式目录下，这时候正式目录已经有了一个叫000000_0的文件，所以就会报如上的错误
解决办法：
hadoop fs -rmr/bdc/are_wek/date=20160928/*
把对应的数据文件删除即可
以上所述就是小编给大家介绍的《hive中重建新表插入报错》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
生物信息学算法导论
N.C.琼斯 / 第1版 (2007年7月1日) / 2007-7 / 45.0
这是一本关于生物信息学算法和计算思想的导论性教科书，原著由国际上的权威学者撰写，经国内知名专家精心翻译为中文，系统介绍推动生物信息学不断进步的算法原理。全书强调的是算法中思想的运用，而不是对表面上并不相关的各类问题进行简单的堆砌。 体现了以下特色： 阐述生物学中的相关问题，涉及对问题的模型化处理并提供一种或多种解决方案： 简要介绍生物信息学领域领军人物； 饶有趣味的小插图使得概念更加具体和形象，方......一起来看看 《生物信息学算法导论》 这本书的介绍吧!
