内容简介:前言 本次更新包括几个部分: 爬虫市场 批量操作 数据库底层优化 更新日志 功能 / 优化 爬虫市场. 允许用户下载开源爬虫到 Crawlab. 批量操作. 允许用户与 Crawlab 批量交互,例如批量运行任务、批量删除爬虫等等...
前言
本次更新包括几个部分:
-
爬虫市场
-
批量操作
-
数据库底层优化
更新日志
功能 / 优化
-
爬虫市场. 允许用户下载开源爬虫到 Crawlab.
-
批量操作. 允许用户与 Crawlab 批量交互,例如批量运行任务、批量删除爬虫等等.
-
迁移 MongoDB 驱动器至
MongoDriver
. -
重构优化节点逻辑代码.
-
更改默认
task.workers
至 16. -
更改默认 nginx
client_max_body_size
为 200m. -
支持写日志到 ElasticSearch.
-
在 Scrapy 页面展示错误详情.
-
删除挑战页面.
-
将反馈、免责声明页面移动到顶部.
Bug 修复
-
修复由于 TTL 索引未创建导致的日志不过期问题.
-
设置默认日志过期时间为 1 天.
-
task_id
索引没有创建. -
docker-compose.yml
修复. -
修复 404 页面.
-
修复无法先创建工作节点问题.
参考
社区
如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 爬虫平台Crawlab v0.2发布
- 爬虫管理平台 Crawlab v0.4.9 发布
- Scrapy 1.5.0 发布,Web 爬虫框架
- Scrapy 2.2.0 发布,Python 爬虫框架
- Scrapy 2.3.0 发布,Python 爬虫框架
- SeimiCrawler V2.0 发布,Java 爬虫框架
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。