大数据平台CDH搭建

栏目: 数据库 · 发布时间: 5年前

内容简介:Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。a.修改主机名配置hostsb.配置cm-server免密钥登录其他节点

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。

二、安装部署

序号 IP地址 主机名 系统版本
1 172.20.2.222 cm-server centos7.3
2 172.20.2.203 hadoop-1 centos7.3
3 172.20.2.204 hadoop-2 centos7.3
4 172.20.2.205 hadoop-3 centos7.3

2.2.1 基础环境部署

a.修改主机名配置hosts

systemctl stop firewalld
hostnamectl set-hostname  cm-server   #更改个主机名
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
setenforce 0
cat >>/etc/hosts<<EOF    #添加各个节点hosts解析
172.20.2.222    cm-server
172.20.2.203	  hadoop-1
172.20.2.204	  hadoop-2
172.20.2.205	  hadoop-3
EOF
复制代码

b.配置cm-server免密钥登录其他节点

ssh-keygen -t rsa     #在cm-server生成密钥对
for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done
复制代码

c.在cm-server安装数据库 在cm-server上安装mariadb,用于后期数据存储

yum install mariadb*
systemctl start mariadb
mysql -uroot password "mysqladmin"
登录数据库后我们采用root登录
复制代码

e.java环境配置 如果系统有安装 java 环境卸载干净使用oracle的jdk,此处使用 jdk-7u80-linux-x64.rpm ,在各节点均配置java环境

rpm -ivh jdk-7u80-linux-x64.rpm
cat >/etc/profile.d/java.sh<<EOF
export JAVA_HOME=/usr/java/jdk1.8.0_121
export CLASSPATH=.:\$JAVA_HOME/jre/lib/rt.jar:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar 
export PATH=\$PATH:\$JAVA_HOME/bin
EOF
source /etc/profile.d/java.sh
复制代码

f.配置各节点服务器需求

sysctl -w vm.swappiness=10
echo "vm.swappiness=10" >>/etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
复制代码

2.2.2 Cloudera Manager安装

a.下载解压相关软件包

mkdir /software && cd /software
wget -c https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz 
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 -O CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/manifest.json
wget -c https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip
tar -zxvf cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz -C /opt/   #解压cm包
unzip mysql-connector-java-5.1.46.zip  #解压java-mysql连接jar包
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /opt/cm-5.14.1/share/cmf/lib/    #将jar包复制到cm的lib目录下
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar 
复制代码

b.创建用户及初始化数据库

useradd --system --home=/opt/cm-5.14.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm     #在各个节点均创建用户
vim /opt/cm-5.14.1/etc/cloudera-scm-agent/config.ini将其中的server_host=cm-server     #指向cm-server
usage: /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username [password]    #使用选项
/opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql cmdb -h"cm-server" -uroot -pmysqladmin --scm-host cm-server scm scm scm
复制代码

c.将文件将cm-server修改完成的文件分发到其他各节点

for i in `seq 1 3`;do scp -r /opt/cm-5.14.1 hadoop-$i:/opt/;done
复制代码

d.创建本地源

mv CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel* manifest.json /opt/cloudera/parcel-repo/
复制代码

e.启动服务 在cm-server启动server和agent服务,在其他节点启动agent服务

/opt/cm-5.14.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.1/etc/init.d/cloudera-scm-agent start
复制代码

2.2.2 Cloudera Manager的web界面配置

服务器均启动后,可以浏览器访问cm-server的7180端口,用户名/密码为admin/admin

大数据平台CDH搭建
大数据平台CDH搭建

接受协议继续

大数据平台CDH搭建

可以选择适用60天

大数据平台CDH搭建

提示一些涉及许可证的信息

大数据平台CDH搭建

勾选管理的主机继续操作

大数据平台CDH搭建

选择CDH-5.14版本

大数据平台CDH搭建

parcel安装

大数据平台CDH搭建

主机正确性检查

大数据平台CDH搭建

群集设置(选择安装的服务)

大数据平台CDH搭建

自定义角色分配,选择安装在那个节点上

大数据平台CDH搭建

数据库设置 需要提前创建数据库及授权其他节点可以正常连接

大数据平台CDH搭建
大数据平台CDH搭建

审核更改

大数据平台CDH搭建

集群安装

大数据平台CDH搭建

完成安装

大数据平台CDH搭建
大数据平台CDH搭建

后期可添加服务

大数据平台CDH搭建
大数据平台CDH搭建

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Numerical Recipes 3rd Edition

Numerical Recipes 3rd Edition

William H. Press、Saul A. Teukolsky、William T. Vetterling、Brian P. Flannery / Cambridge University Press / 2007-9-6 / GBP 64.99

Do you want easy access to the latest methods in scientific computing? This greatly expanded third edition of Numerical Recipes has it, with wider coverage than ever before, many new, expanded and upd......一起来看看 《Numerical Recipes 3rd Edition》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

MD5 加密
MD5 加密

MD5 加密工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具