爬虫管理平台 Crawlab v0.4.9 发布

栏目: 软件资讯 · 发布时间: 4年前

内容简介:前言 本次更新包括几个部分: 更高级的权限管理 趣味挑战 可配置爬虫转化自定义爬虫 结果去重 任务重试 更新日志 功能 / 优化 挑战. 用户可以完成不同的趣味挑战.. 更高级的权限控制. 更细化的权限管理,例如普通...

前言

本次更新包括几个部分:

  1. 更高级的权限管理
  2. 趣味挑战
  3. 可配置爬虫转化自定义爬虫
  4. 结果去重
  5. 任务重试

更新日志

功能 / 优化

  • 挑战. 用户可以完成不同的趣味挑战..
  • 更高级的权限控制. 更细化的权限管理,例如普通用户只能查看或管理自己的爬虫或项目,而管理用户可以查看或管理所有爬虫或项目.
  • 反馈. 允许用户发送反馈和评分给 Crawlab 开发组.
  • 更好的主页指标. 优化主页上的指标展示.
  • 可配置爬虫转化为自定义爬虫. 用户可以将自己的可配置爬虫转化为 Scrapy 自定义爬虫.
  • 查看定时任务触发的任务. 允许用户查看定时任务触发的任务. #648
  • 支持结果去重. 允许用户配置结果去重. #579
  • 支持任务重试. 允许任务重新触发历史任务.

Bug 修复

  • CLI 无法在 Windows 上使用#580
  • 重新上传错误#643 #640
  • 上传丢失文件目录#646
  • 无法在爬虫定时任务标签中添加定时任务.

产品规划

  • 结果展示
    • 支持其他数据库
  • 可配置爬虫
    • 可配置爬虫支持 Splash
    • 可配置爬虫支持 CrawlSpider
    • 可配置爬虫支持正则表达式字段
  • 任务
    • 任务重试机制
  • 定时任务
    • 日历展示
  • 全局
    • 支持版本更新日志展示
  • 服务器
    • 支持终端操作 Docker 镜像
  • SDK
    • 更多命令支持
  • 插件系统

参考

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

现代编译原理

现代编译原理

Andrew W.Appel、Maia Ginsburg / 人民邮电 / 2005-9 / 59.00元

《现代编译原理:C语言描述(英文版)(本科)》全面讲述了现代编译器的各个组成部分,包括:词法分析、语法分析、抽象语法、语义检查、中间代码表示、指令选择、数据流分析、寄存器分配以及运行时系统等。与大多数编译原理的教材不同,《现代编译原理:C语言描述(英文版)(本科)》采用了函数语言和面向对象语言来描述代码生成和寄存器分配,对于编译器中各个模块之间的接口都给出了实际的 C 语言头文件。 全书分成两部分......一起来看看 《现代编译原理》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

随机密码生成器
随机密码生成器

多种字符组合密码

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具