HDFS 异构存储调研

栏目: 服务器 · 发布时间: 5年前

内容简介:按访问速度降序:共有 6 种策略按访问速度从快到慢排列

结论

  • HDFS 支持配置多个数据目录,同一节点默认按照 Round Robin 策略写入。硬盘不做 RAID,每块盘单独挂载。
  • HDFS 支持异构存储,即不同的存储类型和存储策略,可用于实现冷热分级,从而降低成本

存储类型

按访问速度降序:

  • RAM_DISK: 即内存
  • SSD: SSD,OLTP 类场景(如 HBase)可以考虑使用
  • DISK: 普通硬盘
  • ARCHIVE: 归档存储,可使用廉价、高容量存储(甚至单机超百 T)

存储策略

共有 6 种策略

  • Hot : 即通常意义的热数据,需要经常使用。所有副本都存在 DISK. 这是默认的策略。
  • Cold : 即通常意义的冷数据,很少使用,主要是归档备份。所有副本都存在 ARCHIVE.
  • Warm : 介于冷热之间。一个副本放 DISK,其余的放 ARCHIVE.
  • All_SSD : 所有副本都在 SSD.
  • One_SSD : 一个副本在 SSD,其余的放 DISK.
  • Lazy_Persist : 适用于单副本数据,放在内存。先写到 RAM_DISK, 再持久化到 DISK.

按访问速度从快到慢排列

策略 块分布 creationFallbacks replicationFallbacks
Lazy_Persist RAM_DISK: 1, DISK: n-1 DISK DISK
All_SSD SSD: n DISK DISK
One_SSD SSD: 1, DISK: n-1 SSD, DISK SSD, DISK
Hot DISK: n < none > ARCHIVE
Warm DISK: 1, ARCHIVE: n-1 ARCHIVE, DISK ARCHIVE, DISK
Cold ARCHIVE: n < none > < none >

注:creationFallbacks 是对于第一个创建的 block 的 fallback 情况时的可选存储类型;replicationFallbacks 是 block 的其余副本的 fallback 情况时的可选存储类型

配置

每个磁盘单独挂载到不同目录,需要注意加上 noatime 选项。 首先配置 DataNode 的数据目录

  • dfs.storage.policy.enabled : 设置为 true ,默认是 true .
  • dfs.datanode.data.dir : 可配置多个路径,用 , 分隔,每个路径加上存储类型标签作为前缀,如
[SSD]file:///dfs/dn1,[DISK]file:///dfs/dn2,[ARCHIVE]file:///dfs/dn3

注: 通过 Cloudera Manager 配置不需要写 file:// ,直接使用 [DISK]/dfs/dn2 即可

使用 hdfs storagepolicies 命令管理文件/目录的存储策略,共三个子命令。

命令 作用
hdfs storagepolicies -listPolicies 列出所有的块存储策略
hdfs storagepolicies -setStoragePolicy -path <path> -policy <policy> 对指定路径设置存储策略,子目录会继承
hdfs storagepolicies -getStoragePolicy -path <path> 获取指定路径的存储策略

Mover

Mover 是 HDFS 的一个数据迁移工具,类似 Balancer. 区别在于,Mover 的目的是把数据块按照存储策略迁移,Balancer 是在不同 DataNode 直接进行平衡。如果 DataNode 挂载了多种存储类型,Mover 优先尝试在本地迁移,避免网络 IO.

使用方式: hdfs mover -p <path> ,如果想一次性迁移所有数据,可把 path 指定为根路径,不过需要的时间也更长。

参考


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

乔布斯离开了,马斯克来了

乔布斯离开了,马斯克来了

[日]竹内一正 / 干太阳 / 中信出版社 / 2015-11

在电动汽车的创新上,特斯拉抓住了一个群体的独特需求,外形很酷,不烧油,智能化控制。所有的颠覆式创新都不是敲锣打鼓来的,而是隐藏在一片噪声里,马斯克给我们带来的特斯拉虽然不尽完美,但他做产品的思维和执着于未来的勇气,值得学习。埃隆•马斯克创办公司也不是为了赚钱,而是为了拯救人类和地球,电动汽车、太阳能发电、宇宙火箭,不管是哪一项都足以令一个国家付出巨大的代价去研究开发,但埃隆•马斯克却一个人在做这些......一起来看看 《乔布斯离开了,马斯克来了》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具