爬虫案例演示Python多线程、多进程、协程

栏目: IT技术 · 发布时间: 4年前

作者 |

陈熹

来源 | 早起Python

一、前言

爬虫案例演示 <a href='https://www.codercto.com/topics/20097.html'>Python</a> 多线程、多进程、协程

很多时候我们写了一个爬虫,实现了需求后会发现了很多值得改进的地方,其中很重要的一点就是爬取速度。本文 就通过代码讲解如何使用 多进程、多线程、协程 来提升爬取速度。注意:我们不深入介绍理论和原理,一切都在代码中。

二、同步

爬虫案例演示Python多线程、多进程、协程

首先我们写一个简化的爬虫,对各个功能细分,有意识进行函数式编程。下面代码的目的是访问300次百度页面并返回状态码,其中 parse_1 函数可以设定循环次数,每次循环将当前循环数(从0开始)和url传入 parse_2 函数。

import requests

def parse_1():
url = 'https://www.baidu.com'
for i in range(300):
parse_2(url)

def parse_2(url):
response = requests.get(url)
print(response.status_code)

if __name__ == '__main__':
parse_1()

性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待

示例代码就是典型的串行逻辑, parse_1 将url和循环数传递给 parse_2 parse_2 请求并返回状态码后 parse_1 继续迭代一次,重复之前步骤

三、多线程

爬虫案例演示Python多线程、多进程、协程

因为CPU在执行程序时每个时间刻度上只会存在一个线程,因此多线程实际上提高了进程的使用率从而提高了CPU的使用率

实现多线程的库有很多,这里用 concurrent.futures 中的 ThreadPoolExecutor 来演示。介绍 ThreadPoolExecutor 库是因为它相比其他库代码更简洁

为了方便说明问题,下面代码中如果是新增加的部分,代码行前会加上 > 符号便于观察说明问题,实际运行需要去掉

import requests
> from concurrent.futures import ThreadPoolExecutor

def parse_1():
url = 'https://www.baidu.com'
# 建立线程池
> pool = ThreadPoolExecutor(6)
for i in range(300):
> pool.submit(parse_2, url)
> pool.shutdown(wait=True)

def parse_2(url):
response = requests.get(url)
print(response.status_code)

if __name__ == '__main__':
parse_1()

跟同步相对的就是 异步 。异步就是彼此独立,在等待某事件的过程中继续做自己的事,不需要等待这一事件完成后再工作。线程就是实现异步的一个方式,也就是说多线程是异步处理异步就意味着不知道处理结果,有时候我们需要了解处理结果,就可以采用 回调

import requests
from concurrent.futures import ThreadPoolExecutor

# 增加回调函数
> def callback(future):
> print(future.result())

def parse_1():
url = 'https://www.baidu.com'
pool = ThreadPoolExecutor(6)
for i in range(300):
> results = pool.submit(parse_2, url)
# 回调的关键步骤
> results.add_done_callback(callback)
pool.shutdown(wait=True)

def parse_2(url):
response = requests.get(url)
print(response.status_code)

if __name__ == '__main__':
parse_1()

P ython实现多线程有一个无数人诟病的 GIL(全局解释器锁) ,但多线程对于爬取网页这种多数属于IO密集型的任务依旧很合适。

四、多进程

爬虫案例演示Python多线程、多进程、协程

多进程用两个方法实现: ProcessPoolExecutor multiprocessing

1. ProcessPoolExecutor

和实现多线程的 ThreadPoolExecutor 类似

import requests
> from concurrent.futures import ProcessPoolExecutor

def parse_1():
url = 'https://www.baidu.com'
# 建立线程池
> pool = ProcessPoolExecutor(6)
for i in range(300):
> pool.submit(parse_2, url)
> pool.shutdown(wait=True)

def parse_2(url):
response = requests.get(url)
print(response.status_code)

if __name__ == '__main__':
parse_1()

可以看到改动了两次类名,代码依旧很简洁,同理也可以添加 回调 函数

import requests
from concurrent.futures import ProcessPoolExecutor

> def callback(future):
> print(future.result())

def parse_1():
url = 'https://www.baidu.com'
pool = ProcessPoolExecutor(6)
for i in range(300):
> results = pool.submit(parse_2, url)
> results.add_done_callback(callback)
pool.shutdown(wait=True)

def parse_2(url):
response = requests.get(url)
print(response.status_code)

if __name__ == '__main__':
parse_1()

2. multiprocessing

直接看代码,一切都在注释中。

import requests
> from multiprocessing import Pool

def parse_1():
url = 'https://www.baidu.com'
# 建池
> pool = Pool(processes=5)
# 存放结果
> res_lst = []
for i in range(300):
# 把任务加入池中
> res = pool.apply_async(func=parse_2, args=(url,))
# 获取完成的结果(需要取出)
> res_lst.append(res)
# 存放最终结果(也可以直接存储或者print)
> good_res_lst = []
> for res in res_lst:
# 利用get获取处理后的结果
> good_res = res.get()
# 判断结果的好坏
> if good_res:
> good_res_lst.append(good_res)
# 关闭和等待完成
> pool.close()
> pool.join()

def parse_2(url):
response = requests.get(url)
print(response.status_code)

if __name__ == '__main__':
parse_1()

可以看到 multiprocessing 库的代码稍繁琐,但支持更多的拓展。 多进程和多线程确实能够达到加速的目的,但如果遇到IO阻塞会出现线程或者进程的浪费 ,因此有一个更好的方法……

五、异步非阻塞

爬虫案例演示Python多线程、多进程、协程

协程+回调 配合动态协作就可以达到异步非阻塞的目的,本质只用了一个线程,所以很大程度利用了资源

实现异步非阻塞经典是利用 asyncio 库+ yield ,为了方便利用逐渐出现了更上层的封装 aiohttp ,要想更好的理解异步非阻塞最好还是深入了解 asyncio 库。而 gevent 是一个非常方便实现协程的库

import requests
> from gevent import monkey
# 猴子补丁是协作运行的灵魂
> monkey.patch_all()
> import gevent

def parse_1():
url = 'https://www.baidu.com'
# 建立任务列表
> tasks_list = []
for i in range(300):
> task = gevent.spawn(parse_2, url)
> tasks_list.append(task)
> gevent.joinall(tasks_list)

def parse_2(url):
response = requests.get(url)
print(response.status_code)

if __name__ == '__main__':
parse_1()

gevent能很大提速,也引入了新的问题: 如果我们不想速度太快给服务器造成太大负担怎么办? 如果是多进程多线程的建池方法,可以控制池内数量。如果用gevent想要控制速度也有一个不错的方法: 建立队列。 gevent中也提供了 Quene类 ,下面代码改动较大

import requests
from gevent import monkey
monkey.patch_all()
import gevent
> from gevent.queue import Queue

def parse_1():
url = 'https://www.baidu.com'
tasks_list = []
# 实例化队列
> quene = Queue()
for i in range(300):
# 全部url压入队列
> quene.put_nowait(url)
# 两路队列
> for _ in range(2):
> task = gevent.spawn(parse_2)
> tasks_list.append(task)
gevent.joinall(tasks_list)

# 不需要传入参数,都在队列中
> def parse_2():
# 循环判断队列是否为空
> while not quene.empty():
# 弹出队列
> url = quene.get_nowait()
response = requests.get(url)
# 判断队列状态
> print(quene.qsize(), response.status_code)

if __name__ == '__main__':
parse_1()

结束语

爬虫案例演示Python多线程、多进程、协程

以上就是几种常用的加速方法。如果对代码测试感兴趣可以利用time模块判断运行时间。爬虫的加速是重要技能,但适当控制速度也是爬虫工作者的良好习惯,不要给服务器太大压力,拜拜~

作者:陈熹

简介:一只有着 码农 梦想的眼科狗。更多内容欢迎关注简书: 半为花间酒, 会不定期更新一些python、R语言、 SQL 相关及生物信息学、网络爬虫、数据分析、可视化相关的文章。

爬虫案例演示Python多线程、多进程、协程

爬虫案例演示Python多线程、多进程、协程


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

产品经理面试宝典

产品经理面试宝典

[美] Gayle Laakmann McDowell、[美]Jackie Bavaro / 吴海星、陈少芸 / 人民邮电出版社 / 2015-3 / 59.00元

本书针对IT 行业产品经理,以面试为主线,首先介绍产品经理职责以及谷歌、微软等知名企业中产品经理的作用和要求;然后采访了几位知名企业的产品经理,介绍成为产品经理的基本素质;之后从简历准备、各公司面试要点到具体面试问题进行详细分析,这部分是本书的重点内容。读者对象包括IT 行业产品经理以及对如何做好产品有兴趣的人士。一起来看看 《产品经理面试宝典》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

在线进制转换器
在线进制转换器

各进制数互转换器

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具