风铃虫 1.2.0 发布了,新增脚本提取功能

栏目: 软件资讯 · 发布时间: 4年前

内容简介:风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。 作为疫情之后第一次更新的版本,风铃虫本次更新功能较多,...

风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。

作为疫情之后第一次更新的版本,风铃虫本次更新功能较多,新增了通过脚本自定义数据提取功能,使得提取功能更加强大。

同时,为了普通用户更好的进行内容页判断,本次优化了内容页确认机制,可以更加方便的决定哪些页面的数据需要抓取,进一步提升抓取效率。

本次更新内容如下:

1 增加脚本提取策略,支持通过js脚本从下载的网页中个提取出符合要求的数据信息
2 增加内容页匹配规则和内容页过滤器,内容页选择方式更灵活
3 优化代码风格,规范代码,使之更符合阿里开发规约
4 优化模拟测试接口,增加内容提取测试、链接提取、网页下载、内容页规则测试接口
5 优化内容页处理策略,提升内容页处理性能
6 优化事件监听接口,对处理细节更加了然入心
7 其他一些优化

源码地址: https://gitee.com/zhiyubujian/wind-bell
API文档: https://apidoc.gitee.com/zhiyubujian/wind-bell/


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Learning jQuery

Learning jQuery

Jonathan Chaffer、Karl Swedberg / Packt Publishing / 2007-7-7 / GBP 24.99

jQuery is a powerful JavaScript library that can enhance your websites regardless of your background. In this book, creators of the popular jQuery learning resource, learningquery.com, share the......一起来看看 《Learning jQuery》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换