内容简介:Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。a.修改主机名配置hostsb.配置cm-server免密钥登录其他节点
Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。
二、安装部署
序号 | IP地址 | 主机名 | 系统版本 |
---|---|---|---|
1 | 172.20.2.222 | cm-server | centos7.3 |
2 | 172.20.2.203 | hadoop-1 | centos7.3 |
3 | 172.20.2.204 | hadoop-2 | centos7.3 |
4 | 172.20.2.205 | hadoop-3 | centos7.3 |
2.2.1 基础环境部署
a.修改主机名配置hosts
systemctl stop firewalld hostnamectl set-hostname cm-server #更改个主机名 sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config setenforce 0 cat >>/etc/hosts<<EOF #添加各个节点hosts解析 172.20.2.222 cm-server 172.20.2.203 hadoop-1 172.20.2.204 hadoop-2 172.20.2.205 hadoop-3 EOF 复制代码
b.配置cm-server免密钥登录其他节点
ssh-keygen -t rsa #在cm-server生成密钥对 for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done 复制代码
c.在cm-server安装数据库 在cm-server上安装mariadb,用于后期数据存储
yum install mariadb* systemctl start mariadb mysql -uroot password "mysqladmin" 登录数据库后我们采用root登录 复制代码
e.java环境配置 如果系统有安装 java 环境卸载干净使用oracle的jdk,此处使用 jdk-7u80-linux-x64.rpm
,在各节点均配置java环境
rpm -ivh jdk-7u80-linux-x64.rpm cat >/etc/profile.d/java.sh<<EOF export JAVA_HOME=/usr/java/jdk1.8.0_121 export CLASSPATH=.:\$JAVA_HOME/jre/lib/rt.jar:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar export PATH=\$PATH:\$JAVA_HOME/bin EOF source /etc/profile.d/java.sh 复制代码
f.配置各节点服务器需求
sysctl -w vm.swappiness=10 echo "vm.swappiness=10" >>/etc/sysctl.conf echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled 复制代码
2.2.2 Cloudera Manager安装
a.下载解压相关软件包
mkdir /software && cd /software wget -c https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 -O CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/manifest.json wget -c https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip tar -zxvf cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz -C /opt/ #解压cm包 unzip mysql-connector-java-5.1.46.zip #解压java-mysql连接jar包 cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /opt/cm-5.14.1/share/cmf/lib/ #将jar包复制到cm的lib目录下 cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar 复制代码
b.创建用户及初始化数据库
useradd --system --home=/opt/cm-5.14.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm #在各个节点均创建用户 vim /opt/cm-5.14.1/etc/cloudera-scm-agent/config.ini将其中的server_host=cm-server #指向cm-server usage: /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username [password] #使用选项 /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql cmdb -h"cm-server" -uroot -pmysqladmin --scm-host cm-server scm scm scm 复制代码
c.将文件将cm-server修改完成的文件分发到其他各节点
for i in `seq 1 3`;do scp -r /opt/cm-5.14.1 hadoop-$i:/opt/;done 复制代码
d.创建本地源
mv CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel* manifest.json /opt/cloudera/parcel-repo/ 复制代码
e.启动服务 在cm-server启动server和agent服务,在其他节点启动agent服务
/opt/cm-5.14.1/etc/init.d/cloudera-scm-server start /opt/cm-5.14.1/etc/init.d/cloudera-scm-agent start 复制代码
2.2.2 Cloudera Manager的web界面配置
服务器均启动后,可以浏览器访问cm-server的7180端口,用户名/密码为admin/admin
接受协议继续
可以选择适用60天
提示一些涉及许可证的信息
勾选管理的主机继续操作
选择CDH-5.14版本
parcel安装
主机正确性检查
群集设置(选择安装的服务)
自定义角色分配,选择安装在那个节点上
数据库设置 需要提前创建数据库及授权其他节点可以正常连接
审核更改
集群安装
完成安装
后期可添加服务
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Numerical Recipes 3rd Edition
William H. Press、Saul A. Teukolsky、William T. Vetterling、Brian P. Flannery / Cambridge University Press / 2007-9-6 / GBP 64.99
Do you want easy access to the latest methods in scientific computing? This greatly expanded third edition of Numerical Recipes has it, with wider coverage than ever before, many new, expanded and upd......一起来看看 《Numerical Recipes 3rd Edition》 这本书的介绍吧!