爬虫管理平台 Crawlab v0.4.8 发布

内容简介：前言 本次更新包括几个部分： 支持界面安装（预装）Python 以外的多种语言环境 更好的安装界面，可以看到多个节点的安装情况 优化 RPC，基于 Redis 延迟队列作为 RPC 更多功能配置 更新日志 功能 / 优化 支持更多...

前言

本次更新包括几个部分：

1. 支持界面安装（预装）Python 以外的多种语言环境
2. 更好的安装界面，可以看到多个节点的安装情况
3. 优化 RPC，基于 Redis 延迟队列作为 RPC
4. 更多功能配置

更新日志

功能 / 优化

• 支持更多编程语言安装：现在用户可以安装或预装更多的编程语言，包括 Java 、.Net Core、PHP.
• 安装 UI 优化：用户能够更好的查看和管理节点列表页的安装.
• 更多 Git 支持：允许用户查看 Git Commits 记录，并 Checkout 到相应 Commit.
• 支持用 Hostname 作为节点注册类型：用户可以将 hostname 作为节点的唯一识别号.
• RPC 支持：加入 RPC 支持来更好的管理节点通信.
• 是否在主节点运行开关：用户可以决定是否在主节点运行，如果为否，则所有任务将在工作节点上运行.
• 默认禁用教程
• 加入相关文档侧边栏
• 加载页面优化

Bug 修复

• 重复节点 #391

• 重复上传爬虫 #603

• 节点第三方模块安装失败导致节点安装第三方部分无法使用 #609

• 离线节点也会创建任务 #622

产品规划

• 结果展示
  • 支持其他数据库
• 可配置爬虫
  • 可配置爬虫支持 Splash
  • 可配置爬虫支持 CrawlSpider
  • 可配置爬虫支持正则表达式字段
  • 可配置爬虫支持转化为自定义爬虫
• 任务
  • 任务重试机制
• 定时任务
  • 日历展示
• 全局
  • 支持版本更新日志展示
• 服务器
  • 支持终端操作 Docker 镜像
• SDK
  • 更多命令支持
  • 插件系统

参考

• Github: https://github.com/crawlab-team/crawlab
• Demo: https://crawlab.cn/demo

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• 爬虫平台Crawlab v0.2发布
• 爬虫管理平台 Crawlab v0.4.9 发布
• Scrapy 1.5.0 发布，Web 爬虫框架
• Scrapy 2.2.0 发布，Python 爬虫框架
• Scrapy 2.3.0 发布，Python 爬虫框架
• SeimiCrawler V2.0 发布，Java 爬虫框架

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。