爬虫管理平台 Crawlab v0.5.0 正式发布

栏目: 软件资讯 · 发布时间: 4年前

内容简介:前言 本次更新包括几个部分: 爬虫市场 批量操作 数据库底层优化 更新日志 功能 / 优化 爬虫市场. 允许用户下载开源爬虫到 Crawlab. 批量操作. 允许用户与 Crawlab 批量交互,例如批量运行任务、批量删除爬虫等等...

前言

本次更新包括几个部分:

  1. 爬虫市场

  2. 批量操作

  3. 数据库底层优化

更新日志

功能 / 优化

  • 爬虫市场. 允许用户下载开源爬虫到 Crawlab.

  • 批量操作. 允许用户与 Crawlab 批量交互,例如批量运行任务、批量删除爬虫等等.

  • 迁移 MongoDB 驱动器至 MongoDriver.

  • 重构优化节点逻辑代码.

  • 更改默认 task.workers 至 16.

  • 更改默认 nginx client_max_body_size 为 200m.

  • 支持写日志到 ElasticSearch.

  • 在 Scrapy 页面展示错误详情.

  • 删除挑战页面.

  • 将反馈、免责声明页面移动到顶部.

Bug 修复

  • 修复由于 TTL 索引未创建导致的日志不过期问题.

  • 设置默认日志过期时间为 1 天.

  • task_id 索引没有创建.

  • docker-compose.yml 修复.

  • 修复 404 页面.

  • 修复无法先创建工作节点问题.

参考

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

你的灯亮着吗?

你的灯亮着吗?

高斯 (Donald C. Gause)、温伯格 (Gerald M.Weinberg) / 俞月圆 / 人民邮电出版社 / 2014-1-1 / CNY 25.00

本书以别具一格的视角和幽默风趣的语言讨论了解决问题时有可能遇到的多种困难,并就如何训练思维能力指点迷津。本书分六个主题,每个主题都由若干生动有趣和发人深省的小故事组成,巧妙地引导读者先确认真正的问题,然后明确问题该由谁解决,再确定问题的根源,最后决定到底想不想解决这个问题。 本书适合所有业界人士以及想要探索问题解决之道的虚心读者细细品味。一起来看看 《你的灯亮着吗?》 这本书的介绍吧!

html转js在线工具
html转js在线工具

html转js在线工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具