hadoop – 什么是非DFS使用意味着什么?

栏目: 服务器 · 发布时间: 6年前

内容简介:代码日志版权声明:翻译自:http://stackoverflow.com/questions/18477983/what-exactly-non-dfs-used-means

这是我最近在Web UI上看到的

Configured Capacity     :   232.5 GB
 DFS Used    :   112.44 GB
 Non DFS Used    :   119.46 GB
 DFS Remaining   :   613.88 MB
 DFS Used%   :   48.36 %
 DFS Remaining%  :   0.26 %

而我非常困惑,非dfs Used占用了一半以上的容量,

我认为意味着一半的hadoop存储被浪费了

在花费无意义的时间搜索后,我只是格式化了namenode,从头开始.

然后我将一个巨大的文本文件(大约19吉字节)从本地复制到HDFS(成功).

现在UI说

Configured Capacity  :   232.5 GB
DFS Used     :   38.52 GB
Non DFS Used     :   45.35 GB
DFS Remaining    :   148.62 GB
DFS Used%    :   16.57 %
DFS Remaining%   :   63.92 %

在复制之前,DFS Used和Non DFS Used都是0.

因为DFS Used大约是原始文本文件大小的两倍,我配置了2个副本,

我猜,DFS Used是由原始和meta的2个副本组成的.

但是我仍然不知道哪些非DFS使用来自哪里,为什么它比DFS使用更多的capcity.

发生了什么?我犯了错吗

“不使用DFS”按以下公式计算:

非DFS已使用=已配置容量 – 剩余空间 – 使用DFS

至少对我来说还是令人困惑的.

因为

已配置容量=总磁盘空间 – 保留空间.

所以使用非DFS =(总磁盘空间 – 保留空间) – 剩余空间 – 使用DFS

我们来举个例子.假设我有100 GB磁盘,我将保留空间(dfs.datanode.du.reserved)设置为30 GB.

在磁盘上,系统等文件最多使用40 GB,DFS已使用10 GB.如果你运行df -h

,您将看到该磁盘卷的可用空间为50GB.

在HDFS Web UI中,它将显示

使用非DFS = 100GB(总计) – 30 GB(保留) – 10 GB(使用DFS) – 50GB(剩余)

= 10 GB

所以这实际上意味着你最初配置为预留30G用于非dfs使用,70G用于HDFS.然而,事实证明,非dfs使用超过了30G的预约,吃掉了应该属于HDFS的10GB的空间!

术语“使用非DFS”应该被重命名为“使用非dfs使用多少配置的DFS容量”

应该停止尝试找出为什么非dfs使用在hadoop内是如此之高.

一个有用的命令是lsof | grep delete,这将帮助您识别那些已被删除的打开文件.有时,Hadoop进程(如hive,纱线,mapred和hdfs)可能会引用已经删除的文件.而这些引用将占用磁盘空间.

另外du -hsx * |排序-rh |头-10帮助列出十大最大的文件夹.

代码日志版权声明:

翻译自:http://stackoverflow.com/questions/18477983/what-exactly-non-dfs-used-means


以上所述就是小编给大家介绍的《hadoop – 什么是非DFS使用意味着什么?》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Algorithms and Theory of Computation Handbook

Algorithms and Theory of Computation Handbook

Mikhail J. Atallah (Editor) / CRC-Press / 1998-09-30 / USD 94.95

Book Description This comprehensive compendium of algorithms and data structures covers many theoretical issues from a practical perspective. Chapters include information on finite precision issues......一起来看看 《Algorithms and Theory of Computation Handbook》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具