在Centos7下搭建大数据环境,即Zookeeper+Hadoop+HBase

栏目: IT技术 · 发布时间: 5年前

内容简介:1.①hadoop-2.7.6.tar.gz:wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

1. 所需软件下载链接(建议直接复制链接到迅雷下载更快):

①hadoop-2.7.6.tar.gz:

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

②zookeeper-3.4.12.tar.gz:

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz

③hbase-1.2.6-bin.tar.gz:

wget http://mirror.bit.edu.cn/apache/hbase/1.2.6/hbase-1.2.6-bin.tar.gz

注:hadoop与hbase版本有对应性,具体可参考apache官网:http://hbase.apache.org/book.html#quickstart,在页面上页面搜索:Hadoop version support matrix

④jdk-8u171-linux-x64.tar.gz:

链接:https://pan.baidu.com/s/1fEK_ArfqfpVa5lNj8cGGKg

提取码:ky0x

2. 安装教程

①安装hadoop参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html

②安装zookeeper参考教程:https://www.cnblogs.com/frankdeng/p/9018177.html

③安装hbase参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html

3. 注意事项

3.1 在参考hadoop安装教程时:

①首先要先卸载Centos本身自带的openjdk,参考这位博主的卸载教程:

https://www.cnblogs.com/happyflyingpig/p/8068020.html

(不卸载应该也可以吧,您可以试一下先不卸载,装好jdk,再改好/etc/profile中的JAVA_HOME重新编译生效后,输入java -version试试版本对了没。)

②步骤1.4:如果是以root用户安装环境时,即当前目录为~时:应当 直接

cd /opt

/opt是根目录下的opt,并在该目录下创建相应module、software文件夹,而不是先mkdir opt,再cd opt(这是root用户下的opt),如果您已经先mkdir opt了的话,JAVA_HOME应该为: /root/opt/ module/jdk1.8,而不是 /opt/ module/jdk1.8

总结:

cd /opt:根目录下的opt

cd opt:当前登录用户下的opt

③步骤2:向其他节点复制jdk时,改用该命令更好:

scp -r /opt/module/jdk1.8 root@node22:/opt/module

3.2 在参考教程时:

一定要尽量都下载我上面提供的版本 ,因为我试过好几个hadoop、hbase、jdk的版本,存在好多不兼容情况,比如:我之前使用的jdk1.8_202版本,在我搭建完这些环境后,总有一些问题如java.net.connect ion拒绝连接什么的,后面我换成了jdk1.8_171就好了。

4. 最后

上述搭建大数据环境的三个教程为同一个博主 @Frankdeng 编写,更具统一性,安装起来更有参考性(其实是复制粘贴起来更方便hhh),非常感谢参考教程的博主!

上述主要参考教程的博主地址:https://www.cnblogs.com/frankdeng/


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

深入浅出强化学习:原理入门

深入浅出强化学习:原理入门

郭宪、方勇纯 / 电子工业出版社 / 2018-1 / 79

《深入浅出强化学习:原理入门》用通俗易懂的语言深入浅出地介绍了强化学习的基本原理,覆盖了传统的强化学习基本方法和当前炙手可热的深度强化学习方法。开篇从最基本的马尔科夫决策过程入手,将强化学习问题纳入到严谨的数学框架中,接着阐述了解决此类问题最基本的方法——动态规划方法,并从中总结出解决强化学习问题的基本思路:交互迭代策略评估和策略改善。基于这个思路,分别介绍了基于值函数的强化学习方法和基于直接策略......一起来看看 《深入浅出强化学习:原理入门》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具