Crawlab Lite v0.0.1 正式发布，更轻量的爬虫管理平台

内容简介：Crawlab Lite 正式发布，更轻量的爬虫管理平台 Crawlab 是一款基于 Golang 的分布式爬虫管理平台，产品发布已经一年有余，经过开发团队的不断打磨，即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区...

Crawlab Lite 正式发布，更轻量的爬虫管理平台

Crawlab 是一款基于 Golang 的分布式爬虫管理平台，产品发布已经一年有余，经过开发团队的不断打磨，即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能，使产品更加专业。但与此同时我们也注意到，部分用户并不是分布式爬虫用户，他们更多只是在单机情况下使用 Crawlab。其次目前 Crawlab 逐步加入了丰富的功能，也使整个产品逐渐巨化，大部分用户并不能充分使用所有的功能。

因此 Crawlab Lite 作为 Crawlab 的轻量化版本正式发布，相较于 Crawlab，该版本将专注于解决单机环境下的爬虫管理，并且平台本身不再依赖任何外部数据库，现有以及未来加入的功能都仅限于高频使用的必需功能，做到最大化的功能克制。

功能特性

首次发布的版本为 v0.0.1 版本，该版本作为首个体验版本，已经具备了 Lite 版规划的核心功能，相较于 Crawlab 主要区别：

• 仅支持单机环境下的爬虫管理，不再具备分布式功能

• 内置依赖 Key-Value 文件数据库，运行不再需要配置外部数据库

• 删减了大量非必需的功能，平台更加轻量与易用

• 后端代码大量重构，平台的稳定和速度大幅提升

运行方式

我们依然保留通过 docker-componse 这种最方便的方式：

1. 在任意目录下创建 docker-compose.yml，内容如下：

version: '3'
services:
  master:
    image: zkqiang/crawlab-lite:latest
    container_name: master
    ports:
      - "8080:8080"

1. 在目录下运行命令：

docker-compose up -d

1. 访问 http://localhost:8080

项目地址

https://github.com/crawlab-team/crawlab-lite

项目截图

爬虫列表

任务列表

定时列表

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• looter——超轻量级爬虫框架
• 爬虫需谨慎，那些你不知道的爬虫与反爬虫套路！
• 反爬虫之字体反爬虫
• 反爬虫之字体反爬虫
• python网络爬虫之初始网络爬虫
• Python网络爬虫2：迷你爬虫架构

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。