内容简介:vscrawler是一个适合应对爬虫封堵的抓取框架。 当前发布0.2.2版本,在0.2.2版中,我重新设计了资源管理队列,用来处理爬虫所需要的基础资源(账号、设备号,token)的分发、轮询、评分、封禁解禁。该队列使用了我...
vscrawler是一个适合应对爬虫封堵的抓取框架。
当前发布0.2.2版本,在0.2.2版中,我重新设计了资源管理队列,用来处理爬虫所需要的基础资源(账号、设备号,token)的分发、轮询、评分、封禁解禁。该队列使用了我之前设计的用来管理代理ip队列的smartProxyQueue队列https://gitee.com/virjar/proxyipcenter/blob/master/doc/client/design/SmartProxyQueue.md。
评分队列能够自动的根据各个资源的质量(通过feedback评分)调整资源的使用优先级,实现高质量资源高优先级使用,低质量资源低频使用。同时评分队列在存储层做了封装,提供ram和 redis 两套存储方案,可以隔离分布式环境下资源在多机隔离问题。
目前账号资源管理模块已经切换到该模型上面,使用UserManager2替代了之前的UserManager,并且测试使用正常。
另外一个值得高兴的是,本次版本是vscrawler首次在我所在公司内部使用,公司内部需求主要是在线抓取,但是也需要资源管理,session复用,代理切换,链式抽取等功能。本次发布的版本也因为公司需求做了部分适配,当然也发现了一些之前设计的漏洞,并且一并修复。
你可以在这里看到vscrawler的完整文档http://vscrawler.virjar.com/ 或者在这里看到项目完整源码:https://gitee.com/virjar/vscrawler 如果想参与vscrawler的设计讨论,可以通过邮箱:virjar@virjar.com和我取得联系。
【声明】文章转载自:开源中国社区 [http://www.oschina.net]
以上所述就是小编给大家介绍的《vscrawler 0.2.2 发布,一个适合应对爬虫封堵的抓取框架》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
大数据时代的算法:机器学习、人工智能及其典型实例
刘凡平 / 电子工业出版社 / 2017-1 / 49
《大数据时代的算法:机器学习、人工智能及其典型实例》介绍在互联网行业中经常涉及的算法,包括排序算法、查找算法、资源分配算法、路径分析算法、相似度分析算法,以及与机器学习相关的算法,包括数据分类算法、聚类算法、预测与估算算法、决策算法、关联规则分析算法及推荐算法。《大数据时代的算法:机器学习、人工智能及其典型实例》涉及的相关算法均为解决实际问题中的主流算法,对于工作和学习都有实际参考意义。 《......一起来看看 《大数据时代的算法:机器学习、人工智能及其典型实例》 这本书的介绍吧!