爬虫平台Crawlab v0.2发布

栏目: 后端 · 发布时间: 6年前

内容简介：Crawlab是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业。对Crawlab还不了解的童鞋，请移步之前的文章:Crawlab的任务调度核心模块是基于Celery的，因此天然支持分布式爬虫、多节点抓取。Crawlab虽然是用python写的，但爬虫不局限于python爬虫，理论上可兼容任何语言以及任何框架。从目前开源的框架来看，大部分爬虫平台是以scrapyd为核心，因此只能支持scrapy框架的爬虫，而Crawl

爬虫平台Crawlab v0.2发布

Crawlab是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业。对Crawlab还不了解的童鞋，请移步之前的文章:

Crawlab的任务调度核心模块是基于Celery的，因此天然支持分布式爬虫、多节点抓取。Crawlab虽然是用 python 写的，但爬虫不局限于python爬虫，理论上可兼容任何语言以及任何框架。从目前开源的框架来看，大部分爬虫平台是以scrapyd为核心，因此只能支持scrapy框架的爬虫，而Crawlab不仅支持scrapy，还支持其他框架的爬虫。