风铃虫 2.2.0 发布,优化任务停止机制

栏目: 软件资讯 · 发布时间: 4年前

内容简介:风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。 本次更新内容如下: 1 修复测试接口中传入参数异常时不能正...

风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。

本次更新内容如下:

1 修复测试接口中传入参数异常时不能正常工作的bug。

2 优化多任务多线程时的同步机制,能更加灵活扩展

3 优化任务状态监控机制

4 优化任务停止逻辑,停止逻辑更加合理

5 其他一些bug优化

风铃虫平台效果演示

1 配置基本信息

风铃虫 2.2.0 发布,优化任务停止机制

配置链接爬取信息

风铃虫 2.2.0 发布,优化任务停止机制

配置站点信息  

风铃虫 2.2.0 发布,优化任务停止机制

提取项配置

风铃虫 2.2.0 发布,优化任务停止机制

属性提取配置

风铃虫 2.2.0 发布,优化任务停止机制


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

推荐系统

推荐系统

[奥地利] Dietmar Jannach、Markus Zanker、Alexander Felfernig、Gerhard Friedrich / 蒋 凡 / 人民邮电出版社 / 2013-6-25 / 59.00元

编辑推荐: 通过对本书的学习,读者不仅可以全面系统地了解该领域的基础原理,还能试验如何搭建一套真正的推荐系统。 —— 百度主任架构师、百度技术委员会主席 廖若雪 本书比较全面地介绍了推荐系统涉及的相关知识点,很适合对于推荐系统感兴趣的相关人员作为入门教程,目前能够系统全面介绍相关技术的中文书籍还显得匮乏,相信这本译著对于缓解这种情况大有裨益。 ——新浪微博数据挖掘技术专家 ......一起来看看 《推荐系统》 这本书的介绍吧!

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具