spider-flow 0.3.0 发布,Java 开源爬虫平台

栏目: 软件资讯 · 发布时间: 6年前

内容简介:spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫 更新日志 新增Cookie自动管理功能 新增resp.links()、resp.images()、resp.title函数 新增url批量下载,不用先爬取再下载 新增string.last...

spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫

更新日志

  • 新增Cookie自动管理功能
  • 新增resp.links()、resp.images()、resp.title函数
  • 新增url批量下载,不用先爬取再下载
  • 新增string.lastIndexOf、thread.sleep()、list.filterStr函数
  • 新增多函数执行方法
  • 新增任务状态、任务执行记录
  • 修复爬虫名称有空格时,tab页打不开的BUG
  • 修复爬虫名称在编辑时未能获取到名称的BUG
  • 优化对返回结果resp.json、resp.html进行缓存
  • 优化请求延迟时间对第一次执行也生效

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

搜索引擎

搜索引擎

W.Bruce Croft、Donald Metzler、Trevor Strohman / 刘挺、秦兵、张宇、车万翔 / 机械工业出版社 / 2010-6-1 / 56.00元

本书介绍了信息检索(IR)中的关键问题,以及这些问题如何影响搜索引擎的设计与实现,并且用数学模型强化了重要的概念。对于网络搜素引擎这一重要的话题,书中主要涵盖了在网络上广泛使用的搜索技术。 本书适用于高等院校计算机科学或计算机工程专业的本科生、研究生,对于专业人士而言,本书也不失为一本理想的入门教材。一起来看看 《搜索引擎》 这本书的介绍吧!

URL 编码/解码
URL 编码/解码

URL 编码/解码

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具