XXL-CRAWLER v1.1.0，面向对象的分布式爬虫框架

内容简介：XXL-CRAWLER v1.1.0 已发布，更新如下： 新特性： 页面默认cssQuery调整为html标签； 升级Jsoup至1.11.1版本； 修复PageVO注解失效的问题； 属性注解参数attributeKey调整为selectVal； 代理IP：对抗反采集策略规...

XXL-CRAWLER v1.1.0 已发布，更新如下：

新特性：

1. 页面默认cssQuery调整为html标签；

2. 升级Jsoup至1.11.1版本；

3. 修复PageVO注解失效的问题；

4. 属性注解参数attributeKey调整为selectVal；

5. 代理IP：对抗反采集策略规则WAF；

6. 动态代理：支持运行时动态调整代理池，以及自定义代理池路由策略；    

《面向对象的分布式爬虫框架XXL-CRAWLER》

XXL-CRAWLER 是一个灵活高效、面向对象的分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理"等特性；

特性

1. 面向对象：通过VO对象描述页面信息，提供注解方便的映射页面数据，爬取结果主动封装 Java 对象返回；

2. 多线程；

3. 扩散全站：将会以现有URL为起点扩散爬取整站；

4. 去重：防止重复爬取；

5. URL白名单：支持设置页面白名单正则，过滤URL；

6. 异步：支持同步、异步两种方式运行；

7. 自定义请求信息，如：请求参数、Cookie、userAgent等；

8. 轻量级：底层实现仅依赖jsoup，简洁高效；

9. 超时控制：支持设置爬虫请求的超时时间；

10. 主动停顿：爬虫线程处理完页面之后进行主动停顿，避免过于频繁被拦截；

11. 单个页面支持抽取一个或多个PageVO；

12. 代理IP：对抗反采集策略规则WAF；

13. 动态代理：支持运行时动态调整代理池，以及自定义代理池路由策略；

文档地址：中文文档
技术交流：社区交流

【声明】文章转载自：开源中国社区 [http://www.oschina.net]

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• python爬虫 | 一文搞懂分布式进程爬虫
• 装个虚拟机，然后拿来玩爬虫！也是极好的！Scrapy分布式爬虫！
• 分布式爬虫对新站的协助
• 分布式通用爬虫框架Crawlab
• 如何构建一个分布式爬虫：基础篇
• 基于redis的分布式爬虫实现方案

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。