内容简介：前言 本次更新包括几个部分： 日志集中管理 自动安装依赖 开放 API Web Hook 自动生成结果集 更新日志 功能 / 优化 优化日志管理. 集中化管理日志，储存在 MongoDB，减少对 PubSub 的依赖，允许日志异常检测. 自动...
前言
本次更新包括几个部分：
- 日志集中管理
- 自动安装依赖
- 开放 API
- Web Hook
- 自动生成结果集
更新日志
功能 / 优化
- 优化日志管理. 集中化管理日志，储存在 MongoDB，减少对 PubSub 的依赖，允许日志异常检测.
- 自动安装依赖. 允许从
requirements.txt和package.json自动安装依赖. - API Token. 允许用户生成 API Token，并利用它们来集成到自己的系统中.
- Web Hook. 当任务开始或结束时，触发 Web Hook http 请求到预定义好的 URL.
- 自动生成结果集. 如果没有设置，自动设置结果集为
results_<spider_name>. - 优化项目列表. 项目列表中不展示 "No Project".
- 升级 Node.js. 将 Node.js 版本从 v8.12 升级到 v10.19.
- 定时任务增加运行按钮. 允许用户在定时任务界面手动运行爬虫任务.
Bug 修复
产品规划
- 结果展示
- 支持其他数据库
- 爬虫
- 支持容器爬虫
- 长任务爬虫支持
- 可配置爬虫
- 可配置爬虫支持 Splash
- 可配置爬虫支持 CrawlSpider
- 可配置爬虫支持正则表达式字段
- 定时任务
- 日历展示
- 服务器
- 支持终端操作 Docker 镜像
- SDK
- 更多命令支持
- 全局
- 热更新
参考
- Github: https://github.com/crawlab-team/crawlab
- Demo: https://crawlab.cn/demo
- 文档: http://docs.crawlab.cn
社区
如果您觉得 Crawlab 对您的日常开发或公司有帮助，请加作者微信 tikazyq1 并注明 "Crawlab"，作者会将你拉入群。欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 Crawlab 做开发贡献。
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- 爬虫平台Crawlab v0.2发布
- 爬虫管理平台 Crawlab v0.4.9 发布
- Scrapy 1.5.0 发布，Web 爬虫框架
- Scrapy 2.2.0 发布，Python 爬虫框架
- Scrapy 2.3.0 发布，Python 爬虫框架
- SeimiCrawler V2.0 发布，Java 爬虫框架
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
