spider-flow 0.3.0 发布,Java 开源爬虫平台

栏目: 软件资讯 · 发布时间: 4年前

内容简介:spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫 更新日志 新增Cookie自动管理功能 新增resp.links()、resp.images()、resp.title函数 新增url批量下载,不用先爬取再下载 新增string.last...

spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫

更新日志

  • 新增Cookie自动管理功能
  • 新增resp.links()、resp.images()、resp.title函数
  • 新增url批量下载,不用先爬取再下载
  • 新增string.lastIndexOf、thread.sleep()、list.filterStr函数
  • 新增多函数执行方法
  • 新增任务状态、任务执行记录
  • 修复爬虫名称有空格时,tab页打不开的BUG
  • 修复爬虫名称在编辑时未能获取到名称的BUG
  • 优化对返回结果resp.json、resp.html进行缓存
  • 优化请求延迟时间对第一次执行也生效

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

深入理解计算机系统

深入理解计算机系统

Randal E.Bryant、David O'Hallaron / 龚奕利、雷迎春 / 中国电力出版社 / 2004-5-1 / 85.00元

从程序员的视角,看计算机系统! 本书适用于那些想要写出更快、更可靠程序的程序员。通过掌握程序是如何映射到系统上,以及程序是如何执行的,读者能够更好的理解程序的行为为什么是这样的,以及效率低下是如何造成的。粗略来看,计算机系统包括处理器和存储器硬件、编译器、操作系统和网络互连环境。而通过程序员的视角,读者可以清晰地明白学习计算机系统的内部工作原理会对他们今后作为计算机科学研究者和工程师的工作有......一起来看看 《深入理解计算机系统》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试