内容简介:Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。a.修改主机名配置hostsb.配置cm-server免密钥登录其他节点
Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。
二、安装部署
序号 | IP地址 | 主机名 | 系统版本 |
---|---|---|---|
1 | 172.20.2.222 | cm-server | centos7.3 |
2 | 172.20.2.203 | hadoop-1 | centos7.3 |
3 | 172.20.2.204 | hadoop-2 | centos7.3 |
4 | 172.20.2.205 | hadoop-3 | centos7.3 |
2.2.1 基础环境部署
a.修改主机名配置hosts
systemctl stop firewalld hostnamectl set-hostname cm-server #更改个主机名 sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config setenforce 0 cat >>/etc/hosts<<EOF #添加各个节点hosts解析 172.20.2.222 cm-server 172.20.2.203 hadoop-1 172.20.2.204 hadoop-2 172.20.2.205 hadoop-3 EOF 复制代码
b.配置cm-server免密钥登录其他节点
ssh-keygen -t rsa #在cm-server生成密钥对 for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done 复制代码
c.在cm-server安装数据库 在cm-server上安装mariadb,用于后期数据存储
yum install mariadb* systemctl start mariadb mysql -uroot password "mysqladmin" 登录数据库后我们采用root登录 复制代码
e.java环境配置 如果系统有安装 java 环境卸载干净使用oracle的jdk,此处使用 jdk-7u80-linux-x64.rpm
,在各节点均配置java环境
rpm -ivh jdk-7u80-linux-x64.rpm cat >/etc/profile.d/java.sh<<EOF export JAVA_HOME=/usr/java/jdk1.8.0_121 export CLASSPATH=.:\$JAVA_HOME/jre/lib/rt.jar:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar export PATH=\$PATH:\$JAVA_HOME/bin EOF source /etc/profile.d/java.sh 复制代码
f.配置各节点服务器需求
sysctl -w vm.swappiness=10 echo "vm.swappiness=10" >>/etc/sysctl.conf echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled 复制代码
2.2.2 Cloudera Manager安装
a.下载解压相关软件包
mkdir /software && cd /software wget -c https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 -O CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/manifest.json wget -c https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip tar -zxvf cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz -C /opt/ #解压cm包 unzip mysql-connector-java-5.1.46.zip #解压java-mysql连接jar包 cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /opt/cm-5.14.1/share/cmf/lib/ #将jar包复制到cm的lib目录下 cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar 复制代码
b.创建用户及初始化数据库
useradd --system --home=/opt/cm-5.14.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm #在各个节点均创建用户 vim /opt/cm-5.14.1/etc/cloudera-scm-agent/config.ini将其中的server_host=cm-server #指向cm-server usage: /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username [password] #使用选项 /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql cmdb -h"cm-server" -uroot -pmysqladmin --scm-host cm-server scm scm scm 复制代码
c.将文件将cm-server修改完成的文件分发到其他各节点
for i in `seq 1 3`;do scp -r /opt/cm-5.14.1 hadoop-$i:/opt/;done 复制代码
d.创建本地源
mv CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel* manifest.json /opt/cloudera/parcel-repo/ 复制代码
e.启动服务 在cm-server启动server和agent服务,在其他节点启动agent服务
/opt/cm-5.14.1/etc/init.d/cloudera-scm-server start /opt/cm-5.14.1/etc/init.d/cloudera-scm-agent start 复制代码
2.2.2 Cloudera Manager的web界面配置
服务器均启动后,可以浏览器访问cm-server的7180端口,用户名/密码为admin/admin
接受协议继续
可以选择适用60天
提示一些涉及许可证的信息
勾选管理的主机继续操作
选择CDH-5.14版本
parcel安装
主机正确性检查
群集设置(选择安装的服务)
自定义角色分配,选择安装在那个节点上
数据库设置 需要提前创建数据库及授权其他节点可以正常连接
审核更改
集群安装
完成安装
后期可添加服务
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
系统程序员成长计划
李先静 / 人民邮电出版社 / 2010-04 / 45.00
在学习程序开发的过程中,你是否总是为自己遇到的一些问题头疼不已,你是否还在为写不出代码而心急如焚?作为软件开发人员,你是否时时为自己如何成为一名合格的程序员而困惑不已?没关系,本书将为你排忧解难。 这是一本介绍系统程序开发方法的书。书中结合内容详尽的代码细致讲述了不少底层程序开发基础知识,并在逐步深入的过程中介绍了一些简单实用的应用程序,最后还讲述了一些软件工程方面的内容,内容全面,语言生动......一起来看看 《系统程序员成长计划》 这本书的介绍吧!
图片转BASE64编码
在线图片转Base64编码工具
SHA 加密
SHA 加密工具