用Python爬取各Android市场应用下载量(3分钟学会)

栏目: Python · 发布时间: 6年前

内容简介:用Python爬取各Android市场应用下载量(3分钟学会)

用 <a href='https://www.codercto.com/topics/20097.html'>Python</a> 爬取各Android市场应用下载量(3分钟学会)

用Python爬取各Android市场应用下载量(3分钟学会)

就是这么简单!

文章目录

  • 前言
  • 设计一个函数
  • 构造要爬取的网址
  • 确定要爬取的内容的位置
  • 构建输入和调用部分
  • 程序完整代码

0 前言

有时候,总有一些重复又琐碎的工作,却不得不做……

用Python爬取各Android市场应用下载量(3分钟学会)

一个个统计,也不是不行,但实在太累……

有没有一个方法,5秒内自动统计整理好呢?

今天教你一招,用 Python 爬取各个页面的下载量,三分钟学会,节省两小时。

成果是这样的:只需要输入应用名字,然后,就可以获得各市场的下载量了。

想做出来的话,只需要这样几步:

1 设计一个函数

首先,我们需要定义一个爬虫的函数:

用Python爬取各Android市场应用下载量(3分钟学会)

如果你是零基础小白,还不明白什么是函数的话,下面是一些讲解:

Python的函数主要有两大部分:内建函数和自定义函数。内建函数就是Python本身固有的函数,如print(),input(),而自定义函数是我们自己设计的,方便重复调用的代码块。

函数是这样的结构:

用Python爬取各Android市场应用下载量(3分钟学会)

需要注意的是,

  • def和return是关键字,Python就是靠识别这些关键字来明白用户的意图。
  • 在闭合括号后的冒号必不可少。
  • 如果在IDE中冒号后回车,你会得到一个缩进,缩进后面的语句被称作语句块,缩进是为了表明语句和逻辑的从属关系

2 构造要爬取的网址

这个爬虫需要爬取什么样的网址呢?需要程序告诉它:

我们要爬的应用下载量,在详情页上。而这个详情页是有规律可循的。

以应用汇这个安卓市场为例,可以看到我们在搜索“网易云课堂”时,网址是:

用Python爬取各Android市场应用下载量(3分钟学会)

所以我们可以用 url+搜索内容的方式来构造供我们爬取的网址。

3 确定要爬取的内容的位置

我们要爬取的是下载量,要把这个元素的位置在哪里告诉程序。

在Chrome浏览器中,在想爬取的内容上点右键,选“检查”。

用Python爬取各Android市场应用下载量(3分钟学会)

接着在出现的检查框中邮件选择加深的部分,选择copy中的copy selecter。

用Python爬取各Android市场应用下载量(3分钟学会)

粘贴出来我们复制的部分:

用Python爬取各Android市场应用下载量(3分钟学会)

我们称之为CSS元素选择器,通过它可以准确定位到我们想要爬取的部分。

以上三步,我们已经构造出了一个函数的整体结构:

用Python爬取各Android市场应用下载量(3分钟学会)

4 构建输入和调用部分 

在这里我们使用input函数,格式如下:

用Python爬取各Android市场应用下载量(3分钟学会)

调用函数直接输入函数名并且输入参数就好,所以我们需要的是:

用Python爬取各Android市场应用下载量(3分钟学会)

5 程序完整代码

因为我们要同时抓取多个网站的结果,所以我们根据上文的例子自定义多个函数并统一调用。

用Python爬取各Android市场应用下载量(3分钟学会)

用Python爬取各Android市场应用下载量(3分钟学会)

现在,把你用30秒完成的数据日报发出去吧!


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

另一个地球

另一个地球

[美]马克·格雷厄姆、威廉·H·达顿 / 胡泳、徐嫩羽 / 电子工业出版社 / 2015-10-1 / 78

互联网在日常工作和生活中扮演日益重要的角色,互联网将如何重塑社会?本书通过汇集有关互联网文化、经济、政治角色等问题的研究成果,提供了特定社会制度背景下解决这一问题的根本办法。 关于互联网的研究是蓬勃发展的崭新领域,牛津大学互联网研究院(OII)作为创新型的跨学科学院,自成立起就专注于互联网研究。牛津大学互联网研究院关于互联网+社会的系列讲座在一定程度上塑造了互联网+社会。本书内容基于不同学科......一起来看看 《另一个地球》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试