spider-flow 0.3.0 发布,Java 开源爬虫平台

栏目: 软件资讯 · 发布时间: 6年前

内容简介:spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫 更新日志 新增Cookie自动管理功能 新增resp.links()、resp.images()、resp.title函数 新增url批量下载,不用先爬取再下载 新增string.last...

spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫

更新日志

  • 新增Cookie自动管理功能
  • 新增resp.links()、resp.images()、resp.title函数
  • 新增url批量下载,不用先爬取再下载
  • 新增string.lastIndexOf、thread.sleep()、list.filterStr函数
  • 新增多函数执行方法
  • 新增任务状态、任务执行记录
  • 修复爬虫名称有空格时,tab页打不开的BUG
  • 修复爬虫名称在编辑时未能获取到名称的BUG
  • 优化对返回结果resp.json、resp.html进行缓存
  • 优化请求延迟时间对第一次执行也生效

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

移动Web手册

移动Web手册

Peter-Paul Koch(彼得-保罗 科赫) / 奇舞团 / 电子工业出版社 / 2015-4 / 65.00元

《移动Web手册(双色)》主要讲解了移动Web开发和传统PC网站开发的不同之处。作者首先对移动互联网相关的运营商、设备、操作系统和软件进行了简单的介绍,让读者理解移动开发的复杂之处。接下来对移动设备上的各种浏览器进行了详细介绍,以及这些浏览器的市场占有率、特性支持等。《移动Web手册(双色)》为那些想进入移动Web开发领域的人提供了一些指导性的建议并对移动Web开发的未来进行了展望。 《移动......一起来看看 《移动Web手册》 这本书的介绍吧!

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试