Python网络数据采集 完整PDF高清晰中文版

栏目: Python · 发布时间: 6年前

内容简介:Python网络数据采集 完整PDF高清晰中文版

Python网络数据采集 完整PDF高清晰中文版

网络上的数据量越来越大,单靠浏览网页获取信息越来越困难,如何有效地提取并利用信息已成为一个巨大的挑战。本书采用简洁强大的 Python 语言,全面介绍网络数据采集技术,教你从不同形式的网络资源中自由地获取数据。你将学会如何使用Python脚本和网络API一次性采集并处理成千上万个网页上的数据。

本书《Python网络数据采集》适合熟悉Python的 程序员 、安全专业人士、网络管理员阅读。书中不仅介绍了网络数据采集的基本原理,还深入探讨了更高级的主题,比如分析原始数据、用网络爬虫测试网站等。此外,书中还提供了详细的代码示例,以帮助你更好地理解书中的内容。

通过阅读本书,你将能够:

解析复杂的HTML页面

遍历多个网页和网站

了解API的基本概念和工作原理

学习存储数据的方法

下载、读取并抽取网络文档中的数据

使用 工具 和方法清洗格式异常的数据

读取并处理自然语言

越过表单和登录窗口采集数据

学习采集JavaScript的方法

学习图像处理和文字识别方法

本书采用简洁强大的Python语言,介绍了网络数据采集,并为采集新式网络中的各种数据类型提供了全面的指导。第1部分重点介绍网络数据采集的基本原理:如何用Python从网络服务器请求信息,如何对服务器的响应进行基本处理,以及如何以自动化手段与网站进行交互。第二部分介绍如何用网络爬虫测试网站,自动化处理,以及如何通过更多的方式接入网络。

目录

译者序 ix

前言 xi

第一部分 创建爬虫

第1章 初见网络爬虫 2

1.1 网络连接 2

1.2 BeautifulSoup简介 4

1.2.1 安装BeautifulSoup 5

1.2.2 运行BeautifulSoup 7

1.2.3 可靠的网络连接 8

第2章 复杂HTML解析 11

2.1 不是一直都要用锤子 11

2.2 再端一碗BeautifulSoup 12

2.2.1 BeautifulSoup的find()和findAll() 13

2.2.2 其他BeautifulSoup对象 15

2.2.3 导航树 16

2.3 正则表达式 19

2.4 正则表达式和BeautifulSoup 23

2.5 获取属性 24

2.6 Lambda表达式 24

2.7 超越BeautifulSoup 25

第3 章 开始采集 26

3.1 遍历单个域名 26

3.2 采集整个网站 30

3.3 通过互联网采集 34

3.4 用Scrapy 采集 38

第4 章 使用API 42

4.1 API 概述 43

4.2 API 通用规则 43

4.2.1 方法 44

4.2.2 验证 44

4.3 服务器响应 45

4.4 Echo Nest 46

4.5 Twitter API 48

4.5.1 开始 48

4.5.2 几个示例 50

4.6 Google API 52

4.6.1 开始 52

4.6.2 几个示例 53

4.7 解析JSON 数据 55

4.8 回到主题 56

4.9 再说一点API 60

第5 章 存储数据 61

5.1 媒体文件 61

5.2 把数据存储到CSV 64

5.3 MySQL 65

5.3.1 安装MySQL 66

5.3.2 基本命令 68

5.3.3 与Python 整合 71

5.3.4 数据库技术与最佳实践 74

5.3.5 MySQL 里的“六度空间游戏” 75

5.4 Email 77

第6 章 读取文档 80

6.1 文档编码 80

6.2 纯文本 81

6.3 CSV 85

6.4 PDF 87

6.5 微软Word 和.docx 88

第二部分 高级数据采集

第7 章 数据清洗 94

7.1 编写代码清洗数据 94

7.2 数据存储后再清洗 98

第8 章 自然语言处理 103

8.1 概括数据 104

8.2 马尔可夫模型 106

8.3 自然语言工具包 112

8.3.1 安装与设置 112

8.3.2 用NLTK 做统计分析 113

8.3.3 用NLTK 做词性分析 115

8.4 其他资源 119

第9 章 穿越网页表单与登录窗口进行采集 120

9.1 Python Requests 库 120

9.2 提交一个基本表单 121

9.3 单选按钮、复选框和其他输入 123

9.4 提交文件和图像 124

9.5 处理登录和cookie 125

9.6 其他表单问题 127

第10 章 采集JavaScript 128

10.1 JavaScript 简介 128

10.2 Ajax 和动态HTML 131

10.3 处理重定向 137

第11 章 图像识别与文字处理 139

11.1 OCR 库概述 140

11.1.1 Pillow 140

11.1.2 Tesseract 140

11.1.3 NumPy 141

11.2 处理格式规范的文字 142

11.3 读取验证码与训练Tesseract 146

11.4 获取验证码提交答案 151

第12 章 避开采集陷阱 154

12.1 道德规范 154

12.2 让网络机器人看起来像人类用户 155

12.2.1 修改请求头 155

12.2.2 处理cookie 157

12.2.3 时间就是一切 159

12.3 常见表单安全措施 159

12.3.1 隐含输入字段值 159

12.3.2 避免蜜罐 160

12.4 问题检查表 162

第13 章 用爬虫测试网站 164

13.1 测试简介 164

13.2 Python 单元测试 165

13.3 Selenium 单元测试 168

13.4 Python 单元测试与Selenium 单元测试的选择 172

第14 章 远程采集 174

14.1 为什么要用远程服务器 174

14.1.1 避免IP 地址被封杀 174

14.1.2 移植性与扩展性 175

14.2 Tor 代理服务器 176

14.3 远程主机 177

14.3.1 从网站主机运行 178

14.3.2 从云主机运行 178

14.4 其他资源 179

14.5 勇往直前 180

附录A Python 简介 181

附录B 互联网简介 184

附录C 网络数据采集的法律与道德约束 188

作者简介 200

封面介绍 200

Python网络数据采集 完整PDF高清晰中文版可从以下信息得到下载:

点击这个 http://www.linuxidc.com/Linux/2013-12/93755.htm 链接 关注 Linux 公社官方微信 ,关注后回复数字 150627 。即可得到网友的分享密码。

如果取消关注Linux公社公众号,即使再次关注,也将无法提供本服务!

链接: https://pan.baidu.com/s/1i6womiT 密码:获得见上面的方法,地址失效请在下面留言。

------------------------------------------分割线------------------------------------------

全部下载见

FTP地址:ftp://ftp1.linuxidc.com

用户名:ftp1.linuxidc.com

密码:www.linuxidc.com

在 2018年LinuxIDC.com/1月/Python网络数据采集 完整PDF高清晰中文版/

下载方法见 http://www.linuxidc.com/Linux/2013-10/91140.htm

------------------------------------------分割线------------------------------------------

本文永久更新链接地址 http://www.linuxidc.com/Linux/2018-01/150627.htm


以上所述就是小编给大家介绍的《Python网络数据采集 完整PDF高清晰中文版》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

第二曲线:跨越“S型曲线”的二次增长

第二曲线:跨越“S型曲线”的二次增长

[英]查尔斯·汉迪(Charles Handy) / 苗青 / 机械工业出版社 / 2017-6 / 49.00

S型曲线是每个组织和企业在预测未来时一定会参考的工具,一切事物的发展都逃不开S型曲线(“第一曲线”)。 然而,从公司组织、企业治理、市场的变化,到个人职业发展、社会人际关系以及未来的教育与社会价值,多维度地探讨这个世界需要重新以不同的角度来思考问题,不能够总是停留在“第一曲线”的世界。 如果组织和企业能在第一曲线到达巅峰之前,找到带领企业二次腾飞的“第二曲线”,并且第二曲线必须在第一曲......一起来看看 《第二曲线:跨越“S型曲线”的二次增长》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

html转js在线工具
html转js在线工具

html转js在线工具