内容简介:今天比较忙,水一下下面的代码来源于这个视频里面提到的,github 的链接为:第一个代码如下,就是一个普通的 for 循环爬虫。
今天比较忙,水一下
下面的代码来源于这个视频里面提到的,github 的链接为: github.com/mikeckenned…
第一个代码如下,就是一个普通的 for 循环爬虫。 原文地址 。
import requests import bs4 from colorama import Fore def main(): get_title_range() print("Done.") def get_html(episode_number: int) -> str: print(Fore.YELLOW + f"Getting HTML for episode {episode_number}", flush=True) url = f'https://talkpython.fm/{episode_number}' resp = requests.get(url) resp.raise_for_status() return resp.text def get_title(html: str, episode_number: int) -> str: print(Fore.CYAN + f"Getting TITLE for episode {episode_number}", flush=True) soup = bs4.BeautifulSoup(html, 'html.parser') header = soup.select_one('h1') if not header: return "MISSING" return header.text.strip() def get_title_range(): # Please keep this range pretty small to not DDoS my site. ;) for n in range(185, 200): html = get_html(n) title = get_title(html, n) print(Fore.WHITE + f"Title found: {title}", flush=True) if __name__ == '__main__': main() 复制代码
这段代码跑完花了37s,然后我们用 pycharm 的 profiler 工具来具体看看哪些地方比较耗时间。
点击 Profile (文件名称)
之后获取到得到一个详细的函数调用关系、耗时图:
可以看到 get_html
这个方法占了96.7%的时间。这个程序的 IO 耗时达到了97%,获取 html 的时候,这段时间内程序就在那死等着。如果我们能够让他不要在那儿傻傻地等待 IO 完成,而是开始干些其他有意义的事,就能节省大量的时间。
稍微做一个计算,试用 asyncio
异步抓取,能将时间降低多少?
get_html
这个方法耗时 36.8s
,一共调用了 15
次,说明实际上获取一个链接的 html 的时间为 36.8s / 15
= 2.4s
。**要是全异步的话,获取15个链接的时间还是2.4s。**然后加上 get_title
这个函数的耗时 0.6s
,所以我们估算,改进后的程序将可以用 3s
左右的时间完成,也就是性能能够提升13倍。
再看下改进后的代码。 原文地址 。
import asyncio from asyncio import AbstractEventLoop import aiohttp import requests import bs4 from colorama import Fore def main(): # Create loop loop = asyncio.get_event_loop() loop.run_until_complete(get_title_range(loop)) print("Done.") async def get_html(episode_number: int) -> str: print(Fore.YELLOW + f"Getting HTML for episode {episode_number}", flush=True) # Make this async with aiohttp's ClientSession url = f'https://talkpython.fm/{episode_number}' # resp = await requests.get(url) # resp.raise_for_status() async with aiohttp.ClientSession() as session: async with session.get(url) as resp: resp.raise_for_status() html = await resp.text() return html def get_title(html: str, episode_number: int) -> str: print(Fore.CYAN + f"Getting TITLE for episode {episode_number}", flush=True) soup = bs4.BeautifulSoup(html, 'html.parser') header = soup.select_one('h1') if not header: return "MISSING" return header.text.strip() async def get_title_range(loop: AbstractEventLoop): # Please keep this range pretty small to not DDoS my site. ;) tasks = [] for n in range(190, 200): tasks.append((loop.create_task(get_html(n)), n)) for task, n in tasks: html = await task title = get_title(html, n) print(Fore.WHITE + f"Title found: {title}", flush=True) if __name__ == '__main__': main() 复制代码
同样的步骤生成profile 图:
可见现在耗时为大约3.8s,基本符合我们的预期了。
我的公众号:全栈不存在的
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- Python微型异步爬虫框架
- 爬虫进阶之异步协程
- Python网络爬虫的同步和异步
- Python 爬虫 - Instagram异步协程
- 小白学 Python 爬虫(32):异步请求库 AIOHTTP 基础入门
- SpringBoot | :异步开发之异步调用
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Python Web开发:测试驱动方法
Harry J.W. Percival / 安道 / 人民邮电出版社 / 2015-10 / 99
本书从最基础的知识开始,讲解Web开发的整个流程,展示如何使用Python做测试驱动开发。本书由三个部分组成。第一部分介绍了测试驱动开发和Django的基础知识。第二部分讨论了Web开发要素,探讨了Web开发过程中不可避免的问题,及如何通过测试解决这些问题。第三部分探讨了一些高级话题,如模拟技术、集成第三方插件、Ajax、测试固件、持续集成等。本书适合Web开发人员阅读。一起来看看 《Python Web开发:测试驱动方法》 这本书的介绍吧!
随机密码生成器
多种字符组合密码
HEX HSV 转换工具
HEX HSV 互换工具