spider-flow 0.1.0 发布,Java 开源爬虫平台

栏目: 软件资讯 · 发布时间: 5年前

内容简介:历时三个多月,第一个正式版发布 spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫 现已有特性如下: 支持css选择器、正则提取 支持JSON/XML格式 支持Xpath/JsonPath提取 支持多数据源、SQL...

历时三个多月,第一个正式版发布

spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫

现已有特性如下:

  • 支持css选择器、正则提取
  • 支持JSON/XML格式
  • 支持Xpath/JsonPath提取
  • 支持多数据源、SQL select/insert/update/delete/批量插入
  • 支持爬取JS动态渲染的页面
  • 支持代理
  • 支持二进制格式、二进制流格式
  • 支持保存/读取文件(csv、xls、jpg等)
  • 常用字符串、日期、文件、加解密等函数
  • 支持流程嵌套
  • 支持插件扩展(自定义执行器,自定义函数)
  • 支持HTTP接口

已有插件如下:

  • selenium 插件
  • redis 插件
  • mongodb 插件
  • IP代理池 插件
  • OCR 识别插件
  • OSS 插件
  • 电子邮箱 插件

部分截图:

spider-flow 0.1.0 发布,Java 开源爬虫平台


以上所述就是小编给大家介绍的《spider-flow 0.1.0 发布,Java 开源爬虫平台》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

零基础学算法

零基础学算法

戴艳 / 机械工业出版社 / 2012-3-1 / 69.00元

零基础学算法(第2版),ISBN:9787111372493,作者:戴艳 等编著一起来看看 《零基础学算法》 这本书的介绍吧!

MD5 加密
MD5 加密

MD5 加密工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具