HDFS中将普通用户增加到超级用户组supergroup以及其应用场景

栏目: 服务器 · 发布时间: 6年前

Hadoop平台会集成不同的组件,如hdfs、yarn、hive等,不同用户的操作权限不同,除了hdfs是超级用户以外,其它用户都默认是普通用户权限,但是有些场景之下,我们希望普通具有具有hdfs的超级权限,如我oozie中调试 shell 任务,其中shell调用sqoop从数据中导入数据到hive中,其后会通过Yarn来执行MapReduce这么一个过程,不过Yarn在执行的时候,会在hdfs的/user/yarn目录创建权限为700的staging文件,然后在清除在staging文件的时候,又使用执行oozie的用户去执行清除,这个时候就删除文件没有权限报错了,即使这个时候换超级用户hdfs去执行也是一样的错误:

HDFS中将普通用户增加到超级用户组supergroup以及其应用场景

遇到这种情况,就只有使用yarn这个用户来执行这个任务了,因为staging为700的权限,并且是动态生成的,因而不能够通过对staging文件做权限调整,但是由于还要操作hive等其它组件,yarn默认的权限又不够,所以这种场景之下就需要将yarn用户加入到超级组supergroup中。

Hadoop本身的用户和组的关系,都是同步 Linux 系统中的,但是HDFS和Linux的超级用户组又有一点差别,HDFS中的超级用户组是supergroup,但是Linux中默认是没有supergoup这个组,这个时候只需要在Linux中增加supergroup这个组,然后将要在HDFS中加入到supergroup中的用户加到这个组中,再同步HDFS用户和组即可。

操作步骤如下:

1、在Linux执行如下命令增加supergroup

groupadd supergroup

2、如将用户yarn增加到supergroup中,再执行:

usermod -a -G supergroup yarn

3、同步系统的权限信息到HDFS:

su - hdfs -s /bin/bash -c "hdfs dfsadmin -refreshUserToGroupsMappings"

4、验证

1) 将/user/hdfs目录的权限由700,修改为770

su - hdfs -s /bin/bash -c "hadoop fs -chmod 770 /user/hdfs"

2) 通过加到supergroup组中的yarn用户去列这个目录:

su - yarn -s /bin/bash -c "hadoop fs -ls /user/hdfs"

可成功列出目录即表示操作成功。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

代码本色:用编程模拟自然系统

代码本色:用编程模拟自然系统

Daniel Shiffman / 周晗彬 / 人民邮电出版社 / 2014-10 / 99.00元

本书介绍了用计算机模拟自然系统涉及的编程策略与技术,涵盖了基本的数学和物理概念,以及可视化地展示模拟结果所需的高级算法。读者将从构建基本的物理引擎开始,一步一步地学习如何创建智能移动的物体和复杂的系统,为进一步探索生成设计奠定基础。相关的知识点包括力、三角、分形、细胞自动机、自组织和遗传算法。本书的示例使用基于Java的开源语言及开发环境Processing编写。本书网站http://www.na......一起来看看 《代码本色:用编程模拟自然系统》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具