风铃虫 1.3.0 发布了，新增请求上下文

内容简介：风铃虫是一款轻量级的高效爬虫工具，配置简单，方便二次开发，能抓取js渲染的网页，可以抓取任何数据，支持保存网页快照，智能防封杀，天然适合分布式。 风铃虫本次更新功能较多，新增了通过脚本自定义数据提取功...

风铃虫是一款轻量级的高效爬虫工具，配置简单，方便二次开发，能抓取js渲染的网页，可以抓取任何数据，支持保存网页快照，智能防封杀，天然适合分布式。

风铃虫本次更新功能较多，新增了通过脚本自定义数据提取功能，使得提取功能更加强大。

同时，为了普通用户更好的进行内容页判断，本次优化了内容页确认机制，可以更加方便的决定哪些页面的数据需要抓取，进一步提升抓取效率。

本次更新内容如下：

1. 新增实例标识符，为每一个风铃虫实例生成一个唯一的标识符
2. 新增设置实例别名功能，允许为风铃虫实例设置一个自定义别名
3. 新增同步启动接口
4. 优化内容解析器和连接解析器生成过程
5. 优化下载器接口，提供更多信息，进一步提升性能
6. 优化资源调度员，提供请求上下文信息，方便自定义控制
7. 优化信息携带机制，可以通过抓取结果获取更多信息
8. 其他一些代码优化

源码地址： https://gitee.com/zhiyubujian/wind-bell
API文档： https://apidoc.gitee.com/zhiyubujian/wind-bell/

以上所述就是小编给大家介绍的《风铃虫 1.3.0 发布了，新增请求上下文》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

猜你喜欢:

• 风铃虫 1.3.0 发布，修复若干 bug
• 风铃虫 2.0.0 发布，新增抓取深度限制
• 风铃虫 2.2.0 发布，优化任务停止机制
• 风铃虫 2.2.1 发布，新增数据传递功能
• 风铃虫 1.2.0 发布了，新增脚本提取功能
• 风铃虫 2.1.0 发布，支持多任务多线程

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。