Python 爬虫十六式 - 第一式：HTTP协议

Hello，大家好啊，我是Connor，有的人一说什么是HTTP协议就犯愁，写东西的时候也没想过什么是HTTP协议，只是知道HTTP协议是用来网页传输的，但是再深究一点就不明白了，所以今天我们来讲一讲什么是HTTP协议。

1.HTTP 与 HTTPS

1.1 什么是HTTP协议

超文本传输协议（HTTP，HyperText Transfer Protocol) 是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。 HTTP协议是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效，使网络传输减少。它不仅保证计算机正确快速地传输超文本文档，还确定传输文档中的哪一部分，以及哪部分内容首先显示(如文本先于图形)等。

HTTP是一个应用层协议，由请求和响应构成，是一个标准的客户端服务器模型。

一次HTTP请求的基本流程一般是，在建立TCP连接后，由客户端向服务端发起一次请求request，而服务器在接收到以后返回给客户端一个响应response。所以我们看到的HTTP请求内容一般就分为请求和响应两部分。

HTTP协议通常承载于TCP协议之上，默认HTTP的端口号为80。有时也承载于TLS或SSL协议层之上，这个时候，就成了我们常说的HTTPS，稍后我们会详细说HTTP和HTTPS的区别。

1.2 HTTP协议的特点

1. http协议支持客户端/服务端模式，也是一种请求/响应模式的协议。

2. 无连接。所谓的无连接就是服务器收到了客户端的请求之后，响应完成并收到客户端的应答之后，即断开连接。限制每次的连接只处理一次请求。从而节省传输时间。

3. 无状态。HTTP协议是无状态的，也就是说每一次HTTP请求之间都是相互独立的，没有联系的，服务端不知道客户端具体的状态。比如客户端访问一次网页之后关闭浏览器，然后再一次启动浏览器，再访问该网站，服务器是不知道客户关闭了一次浏览器的。这样设计的原因是因为Web服务器一般需要面对很多浏览器的并发访问，为了提高Web服务器对并发访问的处理能力，在设计HTTP协议时规定Web服务器发送HTTP应答报文和文档时，不保存发出请求的Web浏览器进程的任何状态信息

4. 简单快捷：所谓的简单快捷是指客户端向服务器请求服务时，一般来说只需要传输请求方法和路径，就能进行访问。

5. 灵活：客户端可以通过HTTP协议传输任意类型的数据，包括但不限于文本，图片，视频等

1.3 HTTP与HTTPS的区别

HTTP大家都知道是什么东西了，那什么是HTTPS呢？HTTPS是以安全为目标的HTTP通道，简单讲是HTTP的安全版，即HTTP下加入SSL层，HTTPS的安全基础是SSL，承载于SSL协议层之上。因此加密的详细内容就需要SSL。

HTTPS和HTTP相比的主要优势就是体现在它的安全性上，它的缺点也很明显，体现在它的行能和技术方面,具体的优缺点我们不再多说，大家可以自行体会。

2.HTTP 请求

每一个HTTP请求都由三部分组成，分别是：请求行、请求报头、请求正文。

2.1 请求行

请求行一般由 请求方法 、 url路径 、 协议版本 组成，如下所示：

GETwww.baidu.com HTTP/1.1

通过上面我们可以看到请求行分了三个部分，其中 GET 就是请求行中的请求方法， https://www.baidu.com 就是请求行中的url路径， HTTP/1.1 就是它的协议版本。

2.2 请求报头（请求头）

请求头遵循以下格式：

名字：空格 + 值

常用的请求头的属性如下：

当然这些知识列举出了平时常用的一些请求头属性，有些网站也会使用自定义的属性，会使用诸如su，x-index等各种非常用属性之外的属性，非常容易鉴别。

2.3 请求正文

请求正文通常只有使用POST方式进行请求的时候才会有请求正文，如果使用GET请求的话，是不会有请求正文的，具体情况将会在后面的GET与POST请求处细说。

2.4 HTTP请求方法

HTTP协议中定义的请求方法有以下几种：

虽然HTTP请求中定义的方法有这么多种，但是我们平常使用的基本只有 GET 和 POST 两种方法，而且大部分网站都是禁用掉了除 GET 和 POST 外其他的方法。

因为其他几种方法通过 GET 或者 POST 都能实现，而且对于网站来说更加的安全和可控。

• GET

  其实简单来说， GET 方法一般用来负责获取数据，或者将一些简短的数据放到URL参数中传递到服务器。比 POST 更加高效和方便。

• POST

  由于 GET 方法最多在url中携带1024字节数据，且将数据放到URL中传递太不安全，数据量大时URL也会变得冗长。所以传递数据量大或者安全性要求高的数据的时候，最好使用 POST 方法来传递数据。

3.HTTP响应

每一个HTTP请求也都由三部分组成和请求行类似，分别是：响应行、响应报头、响应正文。

3.1 响应行

状态行由HTTP协议版本号， 状态码， 状态消息三部分组成。如下所示：

HTTP/1.1 200 OK

上面我们看到了响应行的内容，其中 HTTP/1.1 是协议版本号， 200 是状态码， OK 是状态消息。

2.2响应正文

响应头格式和请求头格式相同，遵循以下格式：

名字：空格 + 值

常用的响应头属性如下：

3.3 响应正文

服务器返回的数据。

3.4 状态码

当客户端向服务端发起一次请求后，服务端在返回的响应头中会包含一个HTTP状态码，以表明这一次请求的状态。下面是一些常见的状态码：

• 200 - 请求成功
• 301 - 资源（网页等）被永久转移到其它URL
• 404 - 请求的资源（网页等）不存在
• 500 - 内部服务器错误

HTTP的状态码是由三位数字来表示的，由第一位数字来表示状态码的类型，一般来说有五种类型：

以下是详细的状态码列表：

4. URI、URL、URN

4.1 URI、URL、URN的定义

什么是URI？ 什么是URL？ 什么又是URN？三个概念中我们接触的最多的就是URL，那URN和URI又是什么东西呢？怎么以前没听过呢？我们来看他们三个的定义：

URI：Uniform Resource Identifier，即统一资源标志符，用来唯一的标识一个资源。

URL：Uniform Resource Locator，统一资源定位符。即URL可以用来标识一个资源，而且还指明了如何locate这个资源。

URN：Uniform Resource Name，统一资源命名。即通过名字来表示资源的。

下面我们重点说一下URL的格式，再来说一下URI、URL、URN的区别：

4.2 URL的格式：

一个完整的URL包含协议名称，主机名称(IP或者域名)、端口号(没写端口号默认 为80端口)、路径、查询字符串和锚这6个部分。比如:

http:80//www.quanshuwang.com/modules/article/search.php?searchkey=abcd&searchtype=1&page=2#top

http 是它的协议名称， www.quanshuwang.com 就是它的域名， :80 是它的端口号，http和https的默认端口号我们上面都说过了，不再细述， /modules/article/search.php 是它的路径, searchtype=1&page=2 是它的查询字符串， #top 是它的锚点

4.3 URI，URL，URN之间的关系：

上图中我们可以看到，URL和URN是URI的子集，URI是统一资源标志符，而URL除了有标识的功能之外，还有定位的功能，可以用来描述资源的具体位置，还指明了获取资源所采用的协议。

URN也是URL的一种表现形式，它和URL的区别就是与资源的位置无关，正式由于位置的无关性，被某个URN标识的资源在位置发生变化时，其URI可以保持不变。但是我们在平时的使用中几乎没有用URN的，更多的用的是URL。所以URL和URN都是URI的一种扩展，一种表现形式，URL和URN肯定是一个URI，但是URI不一定是URN或URL。

5. Cookie

Cookie 有时也用其复数形式 Cookies ，英文是饼干的意思。指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据（通常经过加密)。

Cookie 其实就是由服务器发给客户端的特殊信息，而这些信息以文本文件的方式存放在客户端，然后客户端每次向服务器发送请求的时候都会带上这些特殊的信息。 服务器在接收到 Cookie 以后，会验证 Cookie 的信息，以此来辨别用户的身份，当然如果有需求，服务器还可以根据需要对Cookie的内容进行修改。

5.1 Cookie的作用

Cookie 其实是HTTP请求头的扩展部分，由于HTTP协议是无状态的协议，所以为了在网页上实现登陆之类的需求，所以扩展了 Cookie 这样的功能。

每一次HTTP请求在数据交换完毕之后就会关闭连接，所以下一次HTTP请求就无法让服务端得知你和上一次请求的关系。而使用了 Cookie 之后，你在第一次登陆之类的请求成功之后，服务器会在 Response 的头信息中给你返回 Cookie 信息，你下一次访问的时候带上这个Cookie信息，则服务器就能识别你为上一次成功登陆的用户。

5.2 Cookie的内容

Cookie 一般保存的格式为json格式，由一些属性组成。

- name： Cookie 的名称 - value： Cookie 的值 - domain：可以使用此 Cookie 的域名 - path：可以使用此 Cookie 的页面路径 - expires/Max-Age：此 Cookie 的超时时间 - secure：设置是否只能通过https来传递此条 Cookie

5.3 domain属性

域名一般来说分为顶级域名，二级域名，三级域名等等。

例如baidu.com是一个顶级域名，而www.baidu.com和map.baidu.com就是二级域名，依次类推。

而在我们的 Cookie 来说，都有一个 domain 属性，这个属性限制了访问哪些域名时可以使用这一条 Cookie 。因为每个网站基本上都会分发 Cookie ，所以 domain 属性就可以让我们在访问新浪时不会带上百度分发给我们的 Cookie 。

而在同一系的域名中，顶级域名是无法使用其二级域名的 Cookie 的，也就是说访问baidu.com的时候是不会带上map.baidu.com分发的 Cookie 的，二级域名之间的 Cookie 也不可以共享。但访问二级域名时是可以使用顶级域名的 Cookie 的。

5.4 path属性

path属性为可以访问此cookie的页面路径。比如domain是abc.com，path是/test，那么只有/test路径下的页面可以读取此cookie。

5.5 expires/Max-Age属性

字段为此cookie超时时间。若设置其值为一个时间，那么当到达此时间后，此cookie失效。不设置的话默认值是Session，意思是cookie会和session一起失效。当浏览器关闭(不是浏览器标签页，而是整个浏览器) 后，此cookie失效。

6. Session

Session，中文经常翻译为会话，其本来的含义是指有始有终的一系列动作/消息，比如打电话时从拿起电话拨号到挂断电话这中间的一系列过程可以称之为一个session。这个词在各个领域都有在使用。

而我们web领域，一般使用的是其本义， 一个浏览器窗口从打开到关闭这个期间 。

Session的目的则是，在一个客户从打开浏览器到关闭浏览器这个期间内，发起的所有请求都可以被识别为同一个用户。而实现的方式则是，在一个客户打开浏览器开始访问网站的时候，会生成一个SessionID，这个ID每次的访问都会带上，而服务器会识别这个SessionID并且将与这个SessionID有关的数据保存在服务器上。由此来实现客户端的状态识别。

Session与Cookie相反，Session是存储在服务器上的数据，只由客户端传上来的SessionId来进行判定，所以相对于Cookie，Session的安全性更高。

一般SessionID会在浏览器被关闭时丢弃，或者服务器会验证Session的活跃程度，例如30分钟某一个SessionID都没有活跃，那么也会被识别为失效。

以上就是HTTP有关的所有内容了,我是Connor，一个什么都不会的小白，如果觉得我说的有什么不对的地方，欢迎指出！如果觉得我写的还不错的话，帮我点个赞吧(❤ ω ❤)