世界杯项目案例:HDFS分布式文件系统

项目案例： HDFS 分布式文件系统

H adoop 的简介 ：
H adoop 是 apache 软件基金会的开源分布式计算平台 hadoop 集群包括两种角色 Mater 和 Slave 。一个 HDFS 集群由一个运行于 Master 上的 Name Node 和若干个运行于 Slave 节点的 Data N ode 组成。 Name Node 负责管理文件系统命名空间和客户端对文件系统的访问操作； Data N ode 管理存储的数据。 文件以块形式在 DataNode 中存储，假如一个块大小设置为 50MB ，块的副本数为 3 （通过设置块的副本数来达到冗余效果，防止单个 Data N o de 磁盘故障后数据丢失），一个 40MB 的文件将被存储在一个块中，然后将相同的 3 个块存储在 3 个 Da taNode 中实现冗余。大文件将被切成小块存储。

本实验的目的 ：

搭建 hadoop 的 HDFS ，通过 Data N ode 节点的添加与删除实现 HDFS 空间动态增加与减少，以及 HDFS 文件系统的基本管理。

需要挂载 hadoop 光盘 hadoop.iso

 

将文件复制到脚本里的指定路径

 

脚本解释

 

安装完成，重启生效

 

验证

 

其他主机操作类似，需修改脚本的 IP 地址和主机名

slave-1 配置

 

验证

 

slave-3 配置

 

验证

 

slave-3 配置

 

验证

 

在 master 上 配置 SSH 密钥对 要求 master 免密码登录各 slave ，用于开启相应服务。

M aster 无密码连接 slave ，先切换 hadoop 用户，用 ssh -keygen 按照默认配置直接按 Enter 键生成密钥对

通过 ssh -copy-id 将公钥复制至 3 个 slave 主机中，复制过程需要输入 slave 主机的 hadoop 用户密码，作用是 master 远程启动 slave 。

 

确定 hadoop 用户对文件的属主和属组权限

 

配置 hadoop

 

复制文件，并给权限

 

如果是手动修改需要修改以下地方

 

 

 

 

 

由 master 通过 SSH 安全通道把刚才配置的 6 个文件复制给每个 slave

 

slave 需要对文件有 755 权限

 

 

初始化 master

 

检查新生成的目录

启动 hadoop 群集（开机 hadoop 的冗余功能）

启停 hadoop de 的管理命令位于 @ HADOOP _HOME/sbin 下，以 start -* 或 stop -* 开头；单独启动 HDFS 分布式文件系统可使用 start-dfs .sh, 也可以使用以下命令启动整个 hadoop 集群。

 

通过 jps 查看各节点上的进程是否正常

 

验证访问

 

 

hadoop 基本命令

使用 “ hadoopfs ”命令可以结合普通的文件管理命令实现很多操作，如查看、修改权限、统计、获取帮助、创建、删除、上传下载文件等，更多的用法可使用“ hadoop fs -help ”或“ hadoop  fs -usage ”命令查看。

 

查看节点状态

 

HDFS 高级命令

开机安全模式

 

将本地文件复制到 HDFS 上

 

将 HDFS 上的文件复制到本地

 

修改属组

 

修改权限

 

修改所有者

 

统计显示目录中文件大小

 

合并文件

 

 

为 HDFS 集群添加节点

slave4 节点安装 jdk 与 hadoop ，配置环境变量

 

复制 hosts 文件到每台服务器

 

配置 ssh 无密码连接

 

在 master 上修改 hadoop 后，复制到其他节点

 

新节点上启动并平衡节点以及存储的数据

 

查看集群信息

 

 

 

删除 DataNode 节点

 

添加要删除的节点

 

刷新配置

 

查看集群信息

 

 

hadoop集群搭建完成！

总结：需要懂得原理加强自身不断完善自己！