爬虫平台Crawlab v0.2发布

栏目: 后端 · 发布时间: 5年前

内容简介:Crawlab是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台,非常适合对爬虫管理、爬虫工程化有要求的开发者及企业。对Crawlab还不了解的童鞋,请移步之前的文章:Crawlab的任务调度核心模块是基于Celery的,因此天然支持分布式爬虫、多节点抓取。Crawlab虽然是用python写的,但爬虫不局限于python爬虫,理论上可兼容任何语言以及任何框架。从目前开源的框架来看,大部分爬虫平台是以scrapyd为核心,因此只能支持scrapy框架的爬虫,而Crawl

爬虫平台Crawlab v0.2发布

Crawlab是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台,非常适合对爬虫管理、爬虫工程化有要求的开发者及企业。对Crawlab还不了解的童鞋,请移步之前的文章:

Crawlab的任务调度核心模块是基于Celery的,因此天然支持分布式爬虫、多节点抓取。Crawlab虽然是用 python 写的,但爬虫不局限于python爬虫,理论上可兼容任何语言以及任何框架。从目前开源的框架来看,大部分爬虫平台是以scrapyd为核心,因此只能支持scrapy框架的爬虫,而Crawlab不仅支持scrapy,还支持其他框架的爬虫。

更新一览

v0.2 已完成

  • [x] 基础统计
  • [x] 数据分析(爬虫)
  • [x] 网站信息
  • [x] 定时任务
  • [x] 修复bug

待开发

  • [ ] 用户管理
  • [ ] 上传爬虫
  • [ ] 导出数据
  • [ ] 高级数据分析(网站、任务)
  • [ ] 更多爬虫例子
  • [ ] 文件管理

截屏

基础统计(爬虫)

爬虫平台Crawlab v0.2发布

基础统计(任务)

爬虫平台Crawlab v0.2发布

定时任务

爬虫平台Crawlab v0.2发布

爬虫平台Crawlab v0.2发布

网站信息

爬虫平台Crawlab v0.2发布

__Github__: tikazyq/crawlab

如果感觉Crawlab还不错的话,请加作者微信拉入开发交流群,大家一起交流关于Crawlab的使用和开发。

爬虫平台Crawlab v0.2发布


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

产品心经:产品经理应该知道的60件事(第2版)

产品心经:产品经理应该知道的60件事(第2版)

闫荣 / 机械工业出版社 / 2016-4 / 69.00

本书第一版出版后广获好评,应广大读者要求,作者把自己在实践中新近总结的10个关于产品的最佳实践融入到了这本新书中。这"10件事"侧重于深挖产品需求和产品疯传背后的秘密,配合之前的"50件事",不仅能帮产品经理打造出让用户尖叫并疯传的产品,还能帮助产品经理迅速全方位提升自己的能力。 本书作者有超过10年的产品工作经验,在互联网产品领域公认的大咖,这本书从产品经理核心素养、产品认知、战略与规划、......一起来看看 《产品心经:产品经理应该知道的60件事(第2版)》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换