内容简介:想要学习hadoop,自定义hadoop代码并运行,build是绕不开的一步。但这个操作实在是太复杂,以至于不容易完成。本文聊一下我在build中遇到的坑。本文内容基于
想要学习hadoop,自定义hadoop代码并运行,build是绕不开的一步。
但这个操作实在是太复杂,以至于不容易完成。本文聊一下我在build中遇到的坑。
本文内容基于 ubuntu 16.04
JDK8
获取代码
hadoop项目代码从 https://github.com/apache/hadoop 获取。如果你的项目对hadoop版本有要求,clone下来后checkout到相应的分支或者tag即可。
git clone https://github.com/apache/hadoop.git git checkout release-2.7.1
安装依赖
阅读编译说明
由于hadoop编译实在是太复杂,官方甚至有一个编译说明。
打开项目根目录的 BUILDING.txt
,注意以下内容:
Installing required packages for clean install of Ubuntu 14.04 LTS Desktop: * Oracle JDK 1.7 (preferred) (作者注:Ubuntu原生 java 或者JDK8都可以成功编译,这一段可以忽略) $ sudo apt-get purge openjdk* $ sudo apt-get install software-properties-common $ sudo add-apt-repository ppa:webupd8team/java $ sudo apt-get update $ sudo apt-get install oracle-java7-installer * Maven $ sudo apt-get -y install maven * Native libraries $ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev * ProtocolBuffer 2.5.0 (required) (作者注:必须是2.5.0,但是下面的命令现在会自动下载2.6.1,所以不要用下面的命令) $ sudo apt-get -y install libprotobuf-dev protobuf-compiler
说明中对于所需依赖分为4个方面:
- JDK 1.7:根据实践1.8也可以用,如果你已经安装了JDK此处可以忽略
- Maven:没有安装的话,执行命令
- Native libraries:一般都需要安装,执行命令
- ProtocolBuffer 2.5.0:编译成功的必备。但是下方命令会下载2.6.1,不要执行。
手动安装ProtocolBuffer 2.5.0
接上文,安装好其它依赖后,需要手动安装 ProtocolBuffer 2.5.0
。首先运行
protoc --version
确认本地是否已有ProtocolBuffer,及版本是否为2.5.0。如果安装了其它版本,需要卸载:
sudo apt-get -y remove libprotobuf-dev protobuf-compiler
执行以下命令手动安装:(自行确认是否需要sudo)
cd /usr/local/src/ wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz tar xvf protobuf-2.5.0.tar.gz cd protobuf-2.5.0 ./autogen.sh ./configure --prefix=/usr make make install protoc --version
切换Maven源
hadoop编译过程中需要从Maven中下载大量依赖,如果你是国内环境,切换到阿里云的源会10倍地提高编译速度。
apt安装的Maven,打开 /etc/maven/settings.xml
。手动安装的Maven,打开maven目录下的 conf/settings.xml
。
在 <mirros>
中添加:
<mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror>
注意 <mirrorOf>
中是 *
才可以替换所有源,笔者最开始为 central
,导致很多包无法下载。
在 <profiles>
中添加:
<repository> <id>nexus-aliyun</id> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </repository>
最终 settings.xml
应该为:(忽略注释和无关代码块)
<?xml version="1.0" encoding="UTF-8"?> <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd"> <mirrors> <mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror> </mirrors> <profiles> <repository> <id>nexus-aliyun</id> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </repository> </profiles> </settings>
切换到项目根目录,运行:
mvn package -Pdist -DskipTests -Dtar
如果上面命令成功,可以运行更多的编译内容:
mvn package -Pdist,native,docs -DskipTests -Dtar
一般来说第一个命令就够用了,很多hadoop工具只需要java代码
以上就是我在 ubuntu 16.04
上编译成功hadoop的经验,成功编译hadoop对于调试集群,测试新功能都有帮助。
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
算法交易:制胜策略与原理
[美]欧内斯特·陈(Ernest P. Chan) / 高闻酉、黄蕊 / 机械工业出版社 / 49.00
本书是一本引人入胜、信息量大、覆盖各类交易策略的图书。无论个人投资者,还是机构投资者,都可以借鉴和使用其中的策略。本书中的策略大致可分为均值回归系统和动量系统两大类。书中不仅介绍了如何使用每种类别的交易策略,更解释了各种策略之所以有效的原因。本书始终以简单、线性的交易策略为重心,因为复杂的交易策略容易受到过度拟合及数据窥探的侵害。数学和软件是算法交易的两条腿。本书用到了一定程度的数学知识,使其对各......一起来看看 《算法交易:制胜策略与原理》 这本书的介绍吧!