XXL-CRAWLER v1.2.0 发布，分布式爬虫框架

内容简介：XXL-CRAWLER v1.2.0 发布，新特性如下： 1、爬虫Builder底层API优化； 2、支持设置请求Headers； 3、支持设置多UserAgent轮询； 4、失败重试：支持请求失败后主动重试，并支持设置重试次数； 5、动态参数：支持运...

XXL-CRAWLER v1.2.0 发布，新特性如下：

• 1、爬虫Builder底层API优化；

• 2、支持设置请求Headers；

• 3、支持设置多UserAgent轮询；

• 4、失败重试：支持请求失败后主动重试，并支持设置重试次数；

• 5、动态参数：支持运行时动态调整请求参数；

• 6、分布式支持：支持自定义RunData(运行时数据模型)并结合 Redis 或DBd等共享运行时数据来实现分布式。默认提供LocalRunData单机版爬虫。

文档

• 中文文档

技术交流

• 社区交流

---

《面向对象的分布式爬虫框架XXL-CRAWLER》

XXL-CRAWLER 是一个面向对象的分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式"等特性；

2017年度最受欢迎中国开源软件评选中，期待您为"XXL-JOB"投出宝贵的一票！

【声明】文章转载自：开源中国社区 [http://www.oschina.net]

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• python爬虫 | 一文搞懂分布式进程爬虫
• 装个虚拟机，然后拿来玩爬虫！也是极好的！Scrapy分布式爬虫！
• 分布式爬虫对新站的协助
• 分布式通用爬虫框架Crawlab
• 如何构建一个分布式爬虫：基础篇
• 基于redis的分布式爬虫实现方案

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。