爬虫管理平台 Crawlab v0.5.0 正式发布

内容简介：前言 本次更新包括几个部分： 爬虫市场 批量操作 数据库底层优化 更新日志 功能 / 优化 爬虫市场. 允许用户下载开源爬虫到 Crawlab. 批量操作. 允许用户与 Crawlab 批量交互，例如批量运行任务、批量删除爬虫等等...

前言

本次更新包括几个部分：

1. 爬虫市场

2. 批量操作

3. 数据库底层优化

更新日志

功能 / 优化

• 爬虫市场. 允许用户下载开源爬虫到 Crawlab.

• 批量操作. 允许用户与 Crawlab 批量交互，例如批量运行任务、批量删除爬虫等等.

• 迁移 MongoDB 驱动器至 MongoDriver.

• 重构优化节点逻辑代码.

• 更改默认 task.workers 至 16.

• 更改默认 nginx client_max_body_size 为 200m.

• 支持写日志到 ElasticSearch.

• 在 Scrapy 页面展示错误详情.

• 删除挑战页面.

• 将反馈、免责声明页面移动到顶部.

Bug 修复

• 修复由于 TTL 索引未创建导致的日志不过期问题.

• 设置默认日志过期时间为 1 天.

• task_id 索引没有创建.

• docker-compose.yml 修复.

• 修复 404 页面.

• 修复无法先创建工作节点问题.

参考

• Github: https://github.com/crawlab-team/crawlab

• Demo: https://crawlab.cn/demo

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助，请加作者微信 tikazyq1 并注明 "Crawlab"，作者会将你拉入群。欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 Crawlab 做开发贡献。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• 爬虫平台Crawlab v0.2发布
• 爬虫管理平台 Crawlab v0.4.9 发布
• Scrapy 1.5.0 发布，Web 爬虫框架
• Scrapy 2.2.0 发布，Python 爬虫框架
• Scrapy 2.3.0 发布，Python 爬虫框架
• SeimiCrawler V2.0 发布，Java 爬虫框架

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。