hadoop-2.6.0-cdh5.7.0源码编译支持压缩

栏目: 服务器 · 发布时间: 5年前

内容简介：在hadoop-2.6.0-cdh5.7.0源码中有个BUILDING.txt文件，里面列出了编译所需依赖组件。转载链接文章中或通过yum安装或通过自己下载提供了所有正确版本组件，并将已下载组件通过百度云分享。我想补充一点的是，yum安装可能报出

在hadoop-2.6.0-cdh5.7.0源码中有个BUILDING.txt文件，里面列出了编译所需依赖组件。

Requirements:

Unix System
JDK 1.7+
Maven 3.0 or later
Findbugs 1.3.9 (if running findbugs)
ProtocolBuffer 2.5.0
CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
Zlib devel (if compiling native code)
openssl devel ( if compiling native hadoop-pipes )
Internet connection for first build (to fetch all Maven and Hadoop dependencies)

转载链接文章中或通过yum安装或通过自己下载提供了所有正确版本组件，并将已下载组件通过百度云分享。

我想补充一点的是，yum安装可能报出 Another app is currently holding the yum lock; waiting for it to exit... 的错误，可参考 https://blog.csdn.net/testcs_...

强制关闭yum进程来解决。

根据BUILDING.txt提示

Build options:

Use -Pnative to compile/bundle native code * Use -Pdocs to

generate & bundle the documentation in the distribution (using -Pdist)

Use -Psrc to create a project source TAR.GZ * Use -Dtar to create a TAR with the distribution (using -Pdist)

Building distributions:

Create binary distribution without native code and without

documentation:

$ mvn package -Pdist -DskipTests -Dtar

Create binary distribution with native code and with documentation:

$ mvn package -Pdist,native,docs -DskipTests -Dtar

使用 mvn clean package -Pdist,native -DskipTests -Dtar 编译，编译完成后，默认会在源码根目录的hadoop-dist目录下生成target，里面的hadoop-2.6.0-cdh5.7.0文件夹就是已经编译好并已解压的hadoop了（直接用的），可以将其拷贝到自定义的位置进行部署配置。

[root@NN1 hadoop-2.6.0-cdh5.7.0]# ./bin/hadoop checknative
19/04/10 11:22:34 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
19/04/10 11:22:34 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /root/hadoop-c/hadoop-2.6.0-cdh5.7.0-target/hadoop-2.6.0-cdh5.7.0/lib/native/libhadoop.so.1.0.0
zlib:    true /lib64/libz.so.1
snappy:  true /lib64/libsnappy.so.1
lz4:     true revision:99
bzip2:   true /lib64/libbz2.so.1
openssl: true /lib64/libcrypto.so

可以看到编译的hadoop支持了各种压缩，亲测有效！

以上所述就是小编给大家介绍的《hadoop-2.6.0-cdh5.7.0源码编译支持压缩》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对码农网的支持！

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

MATLAB高效编程技巧与应用

吴鹏 / 北京航空航天大学 / 2010-6 / 39.00元

《MATLAB高效编程技巧与应用:25个案例分析》是作者八年MATLAB使用经验的总结，精心设计的所有案例均来自于国内各大MATLAB技术论坛网友的切身需求，其中不少案例涉及的内容和求解方法在国内现已出版的MATLAB书籍中鲜有介绍。《MATLAB高效编程技巧与应用:25个案例分析》首先针对MATLAB新版本特有的一些编程思想、高效的编程方法、新技术进行了较为详细的讨论，在此基础上，以大量......一起来看看《MATLAB高效编程技巧与应用》这本书的介绍吧!

码农工具

hadoop-2.6.0-cdh5.7.0源码编译支持压缩

MATLAB高效编程技巧与应用

URL 编码/解码

MD5 加密

HEX HSV 转换工具