Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

栏目: Python · 发布时间: 5年前

内容简介:发现了RE 管理器、一个木函、VIA 浏览器、快图浏览等一众好软件。摘要:如今移动互联网越来越发达,我们每个人的手机上至少都安装了好几十款 App,随着各式各样的 App 层出不穷,也就产生了优劣之分,而我们肯定愿意去使用那些良心佳软,而如何去发现这些 App 呢,本文使用 Scrapy 框架爬取了著名应用下载市场「酷安网」上的 6000 余款 App,通过分析,发现了各个类别领域下的佼佼者,这些 App 堪称真正的良心心之作,使用它们将会给你带来全新的手机使用体验。上一篇文章我们完成了 App 数据的抓

发现了RE 管理器、一个木函、VIA 浏览器、快图浏览等一众好软件。

摘要:如今移动互联网越来越发达,我们每个人的手机上至少都安装了好几十款 App,随着各式各样的 App 层出不穷,也就产生了优劣之分,而我们肯定愿意去使用那些良心佳软,而如何去发现这些 App 呢,本文使用 Scrapy 框架爬取了著名应用下载市场「酷安网」上的 6000 余款 App,通过分析,发现了各个类别领域下的佼佼者,这些 App 堪称真正的良心心之作,使用它们将会给你带来全新的手机使用体验。

上一篇文章我们完成了 App 数据的抓取工作,这一篇文章我们将对这些数据进行探索性分析。

1. 总体情况

我们主要从总体和分类两个维度对 App 下载量、评分、体积等指标进行分析。

1.1. 下载量排名

首先来看一下 App 的下载量情况,很多时候我们下载一个 App ,下载量是一个非常重要的参考指标,由于绝大多数 App 的下载量都相对较少,直方图无法看出趋势,所以我们择将数据进行分段,离散化为柱状图,绘图 工具 采用的是 Pyecharts。

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

可以看到多达 5517 款(占总数 84%)App 的下载量不到 10 万, 而下载量超过 500 万的仅有 20 款,开发一个要想盈利的 App ,用户下载量尤为重要,从这一点来看, 大部分 App 的处境都比较尴尬,至少是在酷安平台上。

代码实现如下:

from pyecharts import Bar
# 下载量分布
bins = [0,10,100,500,10000]
group_names = ['<=10万','10-100万','100-500万','>500万']
cats = pd.cut(df['download'],bins,labels=group_names) #  用 pd.cut() 方法进行分段
cats = pd.value_counts(cats)
bar = Bar('App 下载数量区间分布','绝大部分 App 下载量低于 10 万')
# bar.use_theme('macarons')
bar.add(
    'App 数量 (个)',
    list(cats.index),
    list(cats.values),
    is_label_show = True,
    is_splitline_show = False,
)
bar.render(path='download_interval.png',pixel_ration=1)

接下来,我们看看 下载量最多的 20 款 App 是哪些:

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

可以看到,这里「酷安」App 以 5000 万+ 次的下载量遥遥领先,是第二名微信 2700 万下载量的近两倍,这么巨大的优势也很容易理解,毕竟是自家的 App,如果你手机上没有「酷安」,说明你还不算是一个真正的「 搞机爱好者 」,从图中我们还可以看出以下几点信息:

  • TOP 20 款 App 中,很多都是 装机必备 ,算是比较大众型的 App。

  • 右侧 App 评分图中可以看到仅有 5 款 App 评分超过了 4 分(5 分制),绝大多数的评分都不到 3 分,甚至到不到 2 分, 到底是因为这些 App 开发者做不出好 App 还是根本不想做出来?

  • 相较于其他 App, RE 管理器绿色守护 这几款非常突出,其中 RE 管理器在如此高的下载量下,仍然能够得到 4.8 分(最高分)并且体积只有几 M,实属难得, 什么是「良心 App」,这类就是

作为对比,我们再看一下 下载量最少的 20 个 App

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

可以看到,与上面的那些下载量多的 App 相比,这些就相形见绌了,下载量最少的 「广州限行通」更是只有 63 次下载

这也不奇怪,可能是 App 没有宣传、也可能是刚开发出来,这么少的下载量评分还不错,也还能继续更新,为这些开发者点赞。

其实,这类 App 不算囧,真正囧的应该是那些 下载量很多、评分却低到不能再低 的 App,给人的感觉是:「 我就这么烂,爱咋咋地有本事别用 」。

1.2. 评分排名

接下来,我们看看 App 的总体得分情况。这里,将得分分为了以下 4 个区间段,并且为不同分数定义了相应的等级。

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

可以发现这么几点有意思的现象:

  • 3 分以下的软件非常少,只占不到 10% ,而之前下载量最多的 20 款 APP 中,微信、QQ、淘宝、支付宝等大多数软件的得分都不到 3 分, 这就有点尴尬了。
  • 中品也就是中等得分的 App 数量最多。
  • 4 分以上的 高分 APP 数量占了近一半(46%),可能是这些 App 的确还不错,也可能是由于评分数量过少,为了优中选优,后续有必要设置一定筛选门槛。

接下来,我们看看评分最高的 20 款 App 有哪些,很多时候我们下载 App 都是跟着「 哪个评分高,下载哪个 」这种感觉走。

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

可以看到,评分最高的 20 个 App,它们都得到了 4.8 分 ,包括:RE 管理器(再次出现)、Pure 轻雨图标包等,还有一些不太常见,可能这些都是不错的 App,不过我们还需要结合看一下下载量,它们的下载量都在 1 万以上,有了一定的下载量,评分才算比较可靠,我们就能放心的下载下来体验一下了。

经过上面的总体分析,我们大致发现了一些不错的 App ,但还不够,所以接下来将进行细分并设置一定筛选条件。

2. 分类情况

按照 App 功能和日常使用场景,将 App 分为以下 9 大类别,然后 从每个类别中筛选出 20 款最棒的 App

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

为了尽可能找出最好的 App,这里不妨设置 3 个条件:

  • 评分不低于 4 分
  • 下载量不低于 1 万
  • 设置一个总分评价指标(总分 = 下载量 * 评分),再标准化为满分 1000 分,作为 App 的排名参照指标。

经过评选之后,我们依次得到了各个类别下分数最高的 20 款 App, 这些 App 大部分的确是良心软件

2.1. 系统工具

系统工具包括了:输入法、文件管理 、系统清理、桌面、插件、锁屏等。

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

可以看到,第一名是大名鼎鼎的老牌文件管理器「 RE 管理器 」,仅有 5 M 大小的它除了具备普通文件管理器的各项功能以外,最大的特点是能够卸载手机自带的 App,不过需要 Root。

ES 文件浏览器 」的文件分析器功能非常强大,能够有效清理臃肿的手机空间。

一个木函 」这款 App 就比较牛逼了,正如它的软件介绍「拥有很多,不如有我」所说,打开它你能发现它提供了好几十项实用功能,比如:翻译、以图搜图、快递查询、制作表情包等等。

再往下的「 Super SU 」、「 存储空间清理 」、「 」、「 MT 管理器 」、「 My Android Tools 」都力荐,总之,这份榜单上的 App 可以说都值得进入你的手机 App 使用名单。

2.2. 社交聊天

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

社交聊天类中, 「 Share 微博客户端 」位居第一,作为一款第三方客户端 App,它自然有比官方版本好的地方,比如相比正版 70M 的体积,它只有其十分之一大小,也几乎没有广告,还有额外强大的诸多功能,如果你爱刷微博,那么不妨尝试下这款「Share」。

「即刻」这款 App 也相当不错,再往下还能看到前阵子很火的「子弹短信」,宣称将要取代微信,看来短期内应该是做不到了。

你可能会发现,这份社交榜单上没有出现「知乎」、「豆瓣」、「简书」这类常见的 App,是因为它们的评分都比较低,分别只有 2.9分、3.5分和 2.9 分,自然进入不了这份名单,如果你一定想用它们,推荐去使用它们的第三方客户端或者历史版本。

2.3. 资讯阅读

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

可以看到,在资讯阅读类中,「 静读天下 」牢牢占据了第一名,我之前专门写过一篇文章介绍它:安卓最强阅读器。

同类别中的「多看阅读」、「追书神器」、「微信读书」也都进入了榜单。

另外,如果你经常为不知道去哪里下载电子书而头疼,那不妨试一下「 搜书大师 」、「 老子搜书 」。

2.4. 影音娱乐

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

接下来是影音娱乐版块,网易家的「 网易云音乐 」毫无压力地占据头名,难得的大厂精品。

如果你爱玩游戏,那么 「Adobe AIR」应该尝试一下。

如果你很文艺,那么应该会喜欢「VUE」这款短视频拍摄 App,创作好以后发到朋友圈绝对能装逼。

最后一位的「 海贝音乐 」很赞,最近发现它有一个强大的功能是结合百度网盘使用,它能够自动识别音频文件然后播放。

2.5. 通讯网络

下面到了通讯网络类别,这个类别主要包括:浏览器、通讯录、通知、邮箱等小类。

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

浏览器,我们每个人手机上都有,用的也五花八门,有些人就用手机自带的浏览器,有些人用 Chrome、火狐这类大牌浏览器。

不过你会发现榜单上的前三位你可能听都没听过,但是它们真的很牛逼,用「 极简高效、清爽极速 」来形容再适合不过,其中 「 Via 」和 「 X 浏览器 」 体积不到 1M ,真正的「麻雀虽小、五脏俱全」,强烈推荐。

2.6. 摄影图片

拍照修图也是我们常用的功能。

也许你有自己的图片管理软件,但是这里要强烈推荐第一名「 快图浏览 」这款 App,只有 3M 大小的它,能够瞬间发现和加载上万张图片,如果你是拍照狂魔,用它打开再多的照片也能秒开,另外还拥有隐藏私密照片、自动备份百度网盘等功能。它是我使用时间最久的 App 之一。

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

2.7. 文档写作

我们时常需要在手机上写作、做备忘录,那么自然需要好的文档写作类 App。

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

印象笔记 」就不用多说了,我觉得最好用的学习总结类 App,免费版一般也够用,但是推荐订阅会员,遇到双十一、周年庆这种日子,会有 6折优惠,一年不到 100 块还是很划算了。

如果你喜欢使用 Markdown 写作,那么「 纯纯写作 」这款精巧的 App 应该会很适合你。

体积不到 3M 却拥有云备份、生成长图、中英文自动空格等数十项功能,即使这样,仍然保持了蕴繁于简的设计风格,这大概就是两三个月之内,下载量就从两三万飙升了十倍的原因,而这款 App 的背后是一位 牺牲了几年的业余时间不断开发和更新的大佬 ,值得敬佩。

2.8. 出行交通购物

这个类别中,排名第一的居然是 12306,一提起它,就会想起那一张张奇葩的验证码。不过这里的 App 不是官网的 ,而是第三方开发的。最牛逼的功能应该就是「抢票了」,如果你还在靠发朋友圈来抢票的话,那不妨试一下它。

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

2.9. Xposed 插件

最后一个类别是 Xposed,很多人应该不太熟悉,但是一提微信上的抢红包、防撤回功能,应该很多人就知道了。这些牛逼又不同寻常的功能就用到了 Xposed 框架里的各种模块功能。这个框架由国外著名的 XDA 手机论坛 ,你经常听到的一些所谓由 XDA 大神破解的软件,就是来自这个论坛。

简单地说就是,安装了 Xposed 这个框架之后,就可以在里面安装一些好玩有趣的插件,有了这些插件,你的手机就能实现更多更大的功能。比如:能够去除广告、破解 App 付费功能、杀死耗电的自启动进程、虚拟手机定位等功能。

不过使用这个框架和这些插件需要刷机、ROOT,门槛有点高。

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

3. 小结

  • 本文使用 Scrapy 框架爬取分析了酷安网的 6000 款 App,初学 Scrapy 可能会觉得程序写起来比较散乱,所以可以尝试先使用普通的函数方法,把程序完整地写在一起,再分块拆分到 Scrapy 项目中,这样也有助于从单一程序到框架写法的思维转变,之后会写单独写一篇文章。
  • 由于网页版的 App 数量比 App 中的少,所以还有很多好用的 App 没有包括进来,比如 Chrome 、MX player、Snapseed 等,建议使用酷安 App,那里有更多好玩的东西。

通过这两篇文章,我们完成一个项目从抓取到分析的过程,文中涉及了很多精品佳软,如有兴趣可以去尝试下载体验一下,为了更方便你,我这里也收集好了 24 款精品 App

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

4. 资源获取

如需完整代码和上图中的 App 可以加入我的「 知识星球:第2脑袋 」获取,期待你的到来。

Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)

本文完。


以上所述就是小编给大家介绍的《Scrapy 爬取并分析酷安 6000 款 App,找到良心佳软(分析篇)》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

ASP.NET网页制作教程

ASP.NET网页制作教程

王国荣 / 华中科技 / 2002-1 / 78.00元

《ASP.NET网页制作教程:从基本语法学起(附光盘)》分为:基础篇、对象应用篇、案例研究篇。奠定ASP网页制作的基础,使用Server控件制作互动网页,使用ADO.NET访问数据库;计费网费、会员管理、访客计数器Server版、访客留言板、新闻讨论群组、电子贺卡、E-mail自动传送、FIP文件上传、在线投票、在线问卷调查、在线购物、在线考试、广告回旋板、聊天室。一起来看看 《ASP.NET网页制作教程》 这本书的介绍吧!

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具