Apache Fluo 1.2.0 发布，大规模数据集增量处理系统

内容简介：Apache Fluo 1.2.0 已发布，Fluo 是  Google Percolator（搜索索引）的开源实现，允许用户对存储在 Apache Accumulo 中的大型数据集进行增量更新，而无需重新处理所有的数据。与批处理和流处理框架不同的是，F...

Apache Fluo 1.2.0 已发布，Fluo 是  Google Percolator（搜索索引）的开源实现，允许用户对存储在 Apache Accumulo 中的大型数据集进行增量更新，而无需重新处理所有的数据。与批处理和流处理框架不同的是，Fluo 提供了更低的延迟，并且可以在极大的数据集上运行。

在 1.2.0 之前，Fluo 应用只能以 YARN 或作为本地进程运行。1.2.0 版本后，Fluo tarball 被重构以支持 Docker 、Kubernetes 和 Marathon 等方式运行。

• Fluo tarball 现在仅用于初始化 Fluo 并运行本地进程。

• fluo.properties 配置文件已被弃用，并被 fluo-conn.properties 和 fluo-app.properties 替代。

• fluo-conn.properties 包含连接属性，并由 Fluo 应用共享。

• fluo-app.properites 包含特定于应用程序的属性，仅在 Fluo 应用的初始化过程中使用。

• 在 YARN 中启动 Fluo 应用的代码已移至专属的 fluo-yarn 项目中。

• Fluo jars 现在存储在 HDFS 中，应用配置存储在 Zookeeper 中。

• 现在可使用 -o 选项在命令行中指定 Fluo 配置选项。

• Fluo 脚本现在支持传递 Java 选项。

了解更多详情可查阅发行说明。

下载地址：

• fluo-1.2.0-bin.tar.gz

• fluo-1.2.0-source-release.tar.gz

【声明】文章转载自：开源中国社区 [http://www.oschina.net]

以上所述就是小编给大家介绍的《Apache Fluo 1.2.0 发布，大规模数据集增量处理系统》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

猜你喜欢:

• 细说HTTP增量更新
• 增量更新
• Android增量自动更新
• 垃圾回收算法(6)-增量算法
• gulp4增量编译
• Postgresql备份与增量恢复

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。