内容简介:风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。 本次更新是一个重大的版本更新,在本次更新过程中,对大量...
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
本次更新是一个重大的版本更新,在本次更新过程中,对大量代码进行重构,提升了代码质量,并新增了许多新功能。在保证稳定性的同时,将默认使用正则表达式匹配改为使用关键词匹配,使用门槛进一步降低。另外还新增了去重接口,使用户能够根据需要实现自定义去重逻辑。与此同时,本次更新还增加了深度限制功能,可以根据用户的设置来限制抓取深度。
本次更新点如下
- 重新定义任务调度器,优化调度相关算法
- 剥离请求去重模块,能自定义去重逻辑
- 优化实例别名设置,实现全局别名依赖
- 修复基于内存实现的请求记录器中的严重漏洞
- 增加请求深度限制机制,允许设置抓取深度
- 优化规则构造器,增加构造规则
- 优化同步启动接口
- 增加无查询参数去重器
- 修改XPATH提取内核
- 优化构造规则,规则组织更合理和人性化
- 优化定义内容解析器
- 优化定义链接解析器
- 优化测试系列接口
- 优化内容匹配默认设置
- 增加链接过滤规则,支持多种方式过滤链接
- 修复处理相对路径时的逻辑错误
以上所述就是小编给大家介绍的《风铃虫 2.0.0 发布,新增抓取深度限制》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- 风铃虫 1.1.0 发布,可以抓取 js 渲染网页的数据了
- 风铃虫 1.3.0 发布,修复若干 bug
- 风铃虫 2.2.0 发布,优化任务停止机制
- 风铃虫 2.2.1 发布,新增数据传递功能
- 风铃虫 1.2.0 发布了,新增脚本提取功能
- 风铃虫 2.1.0 发布,支持多任务多线程
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Java技术手册(第6版)
Benjamin J Evans、David Flanagan / 安道 / 人民邮电出版社 / 2015-12-1 / 79.00
《Java技术手册 第6版》为《Java 技术手册》的升级版,涵盖全新的Java 7 和Java 8。第1部分介绍Java 编程语言和Java 平台,主要内容有Java 环境、Java 基本句法、Java 面向对象编程、Java 类型系统、Java的面向对象设计、Java 实现内存管理和并发编程的方式。第2部分通过大量示例来阐述如何在Java 环境中完成实际的编程任务,主要内容有编程和文档约定,使......一起来看看 《Java技术手册(第6版)》 这本书的介绍吧!