Scrapy 1.6.0 发布,Web 爬虫框架

栏目: 编程工具 · 发布时间: 6年前

内容简介:Scrapy 1.6.0 发布了,Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。主要更新内容有:详细更新内容请看

Scrapy 1.6.0 发布了,Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。

主要更新内容有:

  • 更好的 Windows 支持;

  • 兼容 Python 3.7;

  • 文档更新,包括了从 .extract_first() + .extract() API 到 .get() + .getall() API 的转移;;

  • feed exports,FilePipeline 和 MediaPipeline 性能提升;

  • 更好的可扩展性,包括 item_error request_reached_downloader 信号、以及 from_crawler 对 feed exporters, feed storages 和 dupefilters 更好的支持;

  • scrapy.contracts 的修复和新特性;

  • telnet 终端安全性提升(作为 backport 首次发表在 Scrapy 1.5.2 (2019-01-22) );

  • 清理已弃用代码,Bug 修复,其他新特性的新增等……

详细更新内容请看 更新说明

下载地址:


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Iterative Methods for Sparse Linear Systems, Second Edition

Iterative Methods for Sparse Linear Systems, Second Edition

Yousef Saad / Society for Industrial and Applied Mathematics / 2003-04-30 / USD 102.00

Tremendous progress has been made in the scientific and engineering disciplines regarding the use of iterative methods for linear systems. The size and complexity of linear and nonlinear systems arisi......一起来看看 《Iterative Methods for Sparse Linear Systems, Second Edition》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

SHA 加密
SHA 加密

SHA 加密工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具