在Centos7下搭建大数据环境,即Zookeeper+Hadoop+HBase

栏目: IT技术 · 发布时间: 5年前

内容简介:1.①hadoop-2.7.6.tar.gz:wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

1. 所需软件下载链接(建议直接复制链接到迅雷下载更快):

①hadoop-2.7.6.tar.gz:

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

②zookeeper-3.4.12.tar.gz:

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz

③hbase-1.2.6-bin.tar.gz:

wget http://mirror.bit.edu.cn/apache/hbase/1.2.6/hbase-1.2.6-bin.tar.gz

注:hadoop与hbase版本有对应性,具体可参考apache官网:http://hbase.apache.org/book.html#quickstart,在页面上页面搜索:Hadoop version support matrix

④jdk-8u171-linux-x64.tar.gz:

链接:https://pan.baidu.com/s/1fEK_ArfqfpVa5lNj8cGGKg

提取码:ky0x

2. 安装教程

①安装hadoop参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html

②安装zookeeper参考教程:https://www.cnblogs.com/frankdeng/p/9018177.html

③安装hbase参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html

3. 注意事项

3.1 在参考hadoop安装教程时:

①首先要先卸载Centos本身自带的openjdk,参考这位博主的卸载教程:

https://www.cnblogs.com/happyflyingpig/p/8068020.html

(不卸载应该也可以吧,您可以试一下先不卸载,装好jdk,再改好/etc/profile中的JAVA_HOME重新编译生效后,输入java -version试试版本对了没。)

②步骤1.4:如果是以root用户安装环境时,即当前目录为~时:应当 直接

cd /opt

/opt是根目录下的opt,并在该目录下创建相应module、software文件夹,而不是先mkdir opt,再cd opt(这是root用户下的opt),如果您已经先mkdir opt了的话,JAVA_HOME应该为: /root/opt/ module/jdk1.8,而不是 /opt/ module/jdk1.8

总结:

cd /opt:根目录下的opt

cd opt:当前登录用户下的opt

③步骤2:向其他节点复制jdk时,改用该命令更好:

scp -r /opt/module/jdk1.8 root@node22:/opt/module

3.2 在参考教程时:

一定要尽量都下载我上面提供的版本 ,因为我试过好几个hadoop、hbase、jdk的版本,存在好多不兼容情况,比如:我之前使用的jdk1.8_202版本,在我搭建完这些环境后,总有一些问题如java.net.connect ion拒绝连接什么的,后面我换成了jdk1.8_171就好了。

4. 最后

上述搭建大数据环境的三个教程为同一个博主 @Frankdeng 编写,更具统一性,安装起来更有参考性(其实是复制粘贴起来更方便hhh),非常感谢参考教程的博主!

上述主要参考教程的博主地址:https://www.cnblogs.com/frankdeng/


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

大数据时代的算法:机器学习、人工智能及其典型实例

大数据时代的算法:机器学习、人工智能及其典型实例

刘凡平 / 电子工业出版社 / 2017-1 / 49

《大数据时代的算法:机器学习、人工智能及其典型实例》介绍在互联网行业中经常涉及的算法,包括排序算法、查找算法、资源分配算法、路径分析算法、相似度分析算法,以及与机器学习相关的算法,包括数据分类算法、聚类算法、预测与估算算法、决策算法、关联规则分析算法及推荐算法。《大数据时代的算法:机器学习、人工智能及其典型实例》涉及的相关算法均为解决实际问题中的主流算法,对于工作和学习都有实际参考意义。 《......一起来看看 《大数据时代的算法:机器学习、人工智能及其典型实例》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

MD5 加密
MD5 加密

MD5 加密工具