内容简介：XXL-CRAWLER v1.2.0 发布，新特性如下： 1、爬虫Builder底层API优化； 2、支持设置请求Headers； 3、支持设置多UserAgent轮询； 4、失败重试：支持请求失败后主动重试，并支持设置重试次数； 5、动态参数：支持运...
XXL-CRAWLER v1.2.0 发布，新特性如下：
1、爬虫Builder底层API优化；
2、支持设置请求Headers；
3、支持设置多UserAgent轮询；
4、失败重试：支持请求失败后主动重试，并支持设置重试次数；
5、动态参数：支持运行时动态调整请求参数；
6、分布式支持：支持自定义RunData(运行时数据模型)并结合 Redis 或DBd等共享运行时数据来实现分布式。默认提供LocalRunData单机版爬虫。
文档
技术交流
《面向对象的分布式爬虫框架XXL-CRAWLER》
XXL-CRAWLER 是一个面向对象的分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式"等特性；
2017年度最受欢迎中国开源软件评选中，期待您为"XXL-JOB"投出宝贵的一票！
【声明】文章转载自：开源中国社区 [http://www.oschina.net]
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- python爬虫 | 一文搞懂分布式进程爬虫
- 装个虚拟机，然后拿来玩爬虫！也是极好的！Scrapy分布式爬虫！
- 分布式爬虫对新站的协助
- 分布式通用爬虫框架Crawlab
- 如何构建一个分布式爬虫：基础篇
- 基于redis的分布式爬虫实现方案
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
