Kettle 7.1 连接Hadoop集群

栏目: 编程工具 · 发布时间: 6年前

内容简介：在Tools -> Hadoop Distribution 中选择 “HortonWorks HDP 2.5.x”。复制 Hadoop 环境下的的 core-site.xml 文件到 kettle 安装目录下的 “plugins/pentaho-big-data-plugin/hadoop-configurations/hdp25” 目录下。做完上面两步后，重新启动 Kettle。

设置Hadoop环境

在Tools -> Hadoop Distribution 中选择 “HortonWorks HDP 2.5.x”。

复制core-site.xml文件

复制 Hadoop 环境下的的 core-site.xml 文件到 kettle 安装目录下的 “plugins/pentaho-big-data-plugin/hadoop-configurations/hdp25” 目录下。

做完上面两步后，重新启动 Kettle。

测试Hadoop集群连接

添加一个Transformations。

在 View -> Transformations -> Hadoop clusters 添加一个新的 Hadoop 集群。配置大致如下：（修改后可以测试一下）

Cluster Name: myhdfs
Storage: HDFS
HDFS: (可以参考core-site.xml文件)
  Hostname: <ip>
  Port: 8020
  Username: <user>
  Password: <password>
JobTracker:
  Hostname: <ip>
  Port: 8032
Zookeeper:
  Hostname: <ip>
  Port: 2181

在工作区，拖拽一个 “Hadoop File Input” 和 “Hadoop File Output”，并建立关联。

修改“Hadoop File Input”

Environment: myhdfs
File/Folder: /tmp/users.dat

修改“Hadoop File Output”

Hadoop cluster: myhdfs
Folder/File: /tmp/users_new.dat

运行Transformations，然后检查结果。

以上所述就是小编给大家介绍的《Kettle 7.1 连接Hadoop集群》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对码农网的支持！

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

精通HTML

Paul Haine / 杨明军 / 人民邮电出版社 / 2008-2 / 35.00元

本书深入地探讨了(X)HTML及相关技术包括CSS、微格式、语义网等，重点阐述了如何在恰当的时候使用恰当的标签，全书始终贯彻现代的Web设计理念，从而使读者可以学习如何充分利用各种标记提供的多样性，创建语义丰富和结构合理的网站。本书适合具备初步HTML和CSS知识的Web设计开发人员阅读。一起来看看《精通HTML》这本书的介绍吧!

码农工具

JS 压缩/解压工具

在线压缩/解压 JS 代码

CSS 压缩/解压工具

在线压缩/解压 CSS 代码