Web 爬虫 Apache Nutch 1.15 发布,支持 Java 10

栏目: 编程工具 · 发布时间: 7年前

内容简介:Apache Nutch 1.15 已发布。Nutch是一个成熟的、可用于生产的 Web 爬虫。 Nutch 1.x 可以依靠 Apache Hadoop™ 数据结构进行细粒度配置,这对于批处理非常有用。此版本包含100多项 bug 修复和改进,完整的更改列表可下载地址:

Apache Nutch 1.15 已发布。Nutch是一个成熟的、可用于生产的 Web 爬虫。 Nutch 1.x 可以依靠 Apache Hadoop™ 数据结构进行细粒度配置,这对于批处理非常有用。

此版本包含100多项 bug 修复和改进,完整的更改列表可 查阅发布说明 。其中值得注意的包括:

  • NUTCH-1480 具有不同配置的多索引 writer 实例现在可以将文档索引到多个 Solr 或 Elasticsearch 实例中

  • NUTCH-2375 使用新的 MapReduce API

  • NUTCH-2583 更新依赖库,这也使得 Nutch 可在 Java 9 和 10 上运行和编译

  • NUTCH-2549 对 protocol-http 插件进行修复和改进

  • NUTCH-2576 一个基于 okhttp 库的新 HTTP 协议实现,如果与 Java 9 或更高版本一起使用,则支持 HTTP / 2

  • NUTCH-1129 一个基于 Any23 项目的新插件,用于提取链接数据

下载地址:


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

C++ Primer 中文版(第 4 版)

C++ Primer 中文版(第 4 版)

Stanley B.Lippman、Josée LaJoie、Barbara E.Moo / 李师贤、蒋爱军、梅晓勇、林瑛 / 人民邮电出版社 / 2006 / 99.00元

本书是久负盛名的C++经典教程,其内容是C++大师Stanley B. Lippman丰富的实践经验和C++标准委员会原负责人Josée Lajoie对C++标准深入理解的完美结合,已经帮助全球无数程序员学会了C++。本版对前一版进行了彻底的修订,内容经过了重新组织,更加入了C++ 先驱Barbara E. Moo在C++教学方面的真知灼见。既显著改善了可读性,又充分体现了C++语言的最新进展和当......一起来看看 《C++ Primer 中文版(第 4 版)》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

html转js在线工具
html转js在线工具

html转js在线工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试