内容简介:风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。 本次更新内容如下: 1 解决了多任务多线程模式下引线程安全...
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
本次更新内容如下:
1 解决了多任务多线程模式下引线程安全问题引起的数据异常问题
2 优化系统日志,统一系统日志格式,方便问题排查
3 优化内容页地址匹配逻辑
4 分离业务处理过程
5 优化事件监听接口
6 其他一些优化
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 风铃虫 1.3.0 发布,修复若干 bug
- 风铃虫 2.0.0 发布,新增抓取深度限制
- 风铃虫 2.2.0 发布,优化任务停止机制
- 风铃虫 2.2.1 发布,新增数据传递功能
- 风铃虫 1.2.0 发布了,新增脚本提取功能
- 风铃虫 1.3.0 发布了,新增请求上下文
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。