java客户端无法上传文件到hdfs

栏目: 服务器 · 发布时间: 5年前

内容简介：学些hadoop。遇到这个问题，查找网上好多资料，一般都是说namenode和datanode不同步导致的，或者防火墙没开50010端口，或者nameNode和datanode无法通信导致的。其实通过命令行都是可以正常操作的，远程调用的时候可以创建目录和文件，但是像文件写内容的时候，就写不进去，报如上错误。本地host需要配置好，然后加上下面这句代码

019-07-01 16:45:24,933 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 8020, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock from 58.211.111.42:63048 Call#3 Retry#0
java.io.IOException: File /a1.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1620)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3350)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:678)
    at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.addBlock(AuthorizationProviderProxyClientProtocol.java:213)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:491)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2141)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2137)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1835)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2135)

学些hadoop。遇到这个问题，查找网上好多资料，一般都是说namenode和datanode不同步导致的，或者防火墙没开50010端口，或者nameNode和datanode无法通信导致的。

其实通过命令行都是可以正常操作的，远程调用的时候可以创建目录和文件，但是像文件写内容的时候，就写不进去，报如上错误。

本地host需要配置好，然后加上下面这句代码

configuration = new Configuration();
configuration.set("dfs.client.use.datanode.hostname", "true");

意思大概就是本地的hadoop访问datanode的时候没有使用本地的host配置，需要开启。

参考自链接描述

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

TCP/IP详解卷3：TCP事务协议、HTTP、NNTP和UNIX域协议

胡谷雨、吴礼发、W.Richard Stevens / 胡谷雨 / 机械工业出版社 / 2000-9 / 35.00元

《CP.IP详解(卷3):CP事务协议.HP.P和UIX域协议》是“TCP/IP详解系列”的延续。主要内容包括：TCP事务协议，即T/TCP，这是对TCP的扩展，使客户-服务器事务更快、更高效和更可靠；TCP/IP应用，主要是HTTP和NNTP；UNIX域协议，这些协议提供了进程之间通信的一种手段。当客户与服务器进程在同一台主机上时，UNIX域协议通常要比TCP/IP快一倍。《CP.IP详解(卷3......一起来看看《TCP/IP详解卷3：TCP事务协议、HTTP、NNTP和UNIX域协议》这本书的介绍吧!

码农工具