Python简单post信息

从自己别的博客搬过来的，很久之前的文章，正好放在专栏 Python 基础知识里~不知道对别人有没有用，希望不会辣眼睛哈哈~

最近学了点关于python的网络爬虫的知识，简单记录一下，这里主要用到了requests库和BeautifulSoup库

以上是两个库的介绍，链接是文档信息

1、示例页面

这里我利用 东北大学的图书馆 的登陆页面来实现我们的爬虫功能（ps:没错，博主是东北大学的学生..所以我有账号密码）， 没有账号密码也没有关系，原理都是差不多的 ，之所以找这个页面，是因为这个页面没有验证码，能够简单一些，而且像学校的这种页面一般比较简单，方便操作

2、简单分析

首先我用的账户和密码登陆进了东北大学图书馆，我使用的是chrome浏览器，打开开发者模式，我们来看看我们提交了哪些信息。

登陆进去后，按下F12打开开发者模式，在Network选项卡下面，我们找到这个文件，他的request方法是post，应该就是我们要找的文件了，拉到最下面看到Form Data，红色框出就是我们登陆时提交的信息了，一共五个部分，画红线的地方是账号和密码。搞清楚了post的信息后，我们就可以写代码来自动提交信息了。

登陆部分搞清楚了，接下就要分析要抓取的信息了，现在我要抓取我的

• 外借
• 借阅历史列表
• 预约请求

要抓取这三个数据，如上图所示，我当前外借1本书，借阅过65本书，预约请求为0，现在的目的是将这些数据抓取出来，我们按下F12来查看网页的源代码，分析我们应该抓取哪一部分。

如上图所示，一步步找到了数据所在的标签，我发现数据都在id=history这个标签下，所以可以先找到这个标签，然后再找tr标签，然后就能找到td标签里的数据了。

3、实现的功能

• 自动登陆
• 抓取页面上的一些信息，并在控制台输出

4、代码部分

4.1、post数据的部分

首先贴上这部分的代码

def getHTMLText(url):
    try:
        kv = {'user-agent': 'Mozilla/5.0'}
        mydata = {'func':'login-session', 'login_source':'bor-info', 'bor_id': '***', 'bor_verification': '***','bor_library':'NEU50'}
        re = requests.post(url, data=mydata, headers=kv)
        re.raise_for_status()
        re.encoding = re.apparent_encoding
        return re.text
    except:
        print("异常")
        return""

代码如上，我们来分析一下

• kv是为了模拟浏览器而定义的字典，因为有些网站如果识别出是爬虫的话，会拒绝访问，所以这里可以修改headers的信息来模拟浏览器登陆。
• mydata里面存的就是要post的信息，其中账号和密码我用 * 代替了。
• requests.post()就是向指定的url 提交数据，关于requests在网上都能搜的到，就不赘述了。
• re.raise_for_status()这个的含义是如果访问失败的话，就会丢出异常。
• re.encoding = re.apparent_encoding修改编码，保证中文能被正确的解析。
• 这里采用try except的结构，为了程序的健壮性考虑，让程序在错误的时候不至于崩溃。
• 最后返回我们新的页面的text。

4.2、抓取数据部分

首先贴上代码

def fillBookList(booklist, html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find(id='history').descendants:
        if isinstance(tr, bs4.element.Tag):
            temp = tr.find_all('td')
            if len(temp)>0:
                booklist.append(temp[1].string.strip())
                booklist.append(temp[3].string.strip())
                booklist.append(temp[5].string.strip())
                break

• 参数分别是我们要填充的列表和目标页面
• 创建一个BeautifulSoup的对象
• 在整个页面中查找id=history的标签，然后遍历其所有子孙标签
• 在遍历的过程中，标签的子标签可能是字符串类型，我们要过滤掉这些，所以用了isinstance(tr, bs4.element.Tag)

isinstance 的用法：

语法：

isinstance(object, classinfo)

其中，object 是变量，classinfo 是类型(tuple,dict,int,float,list,bool等) 和 class类若参数 object 是 classinfo 类的实例，或者 object 是 classinfo 类的子类的一个实例， 返回 True。 若 object 不是一个给定类型的的对象， 则返回结果总是False。若 classinfo 不是一种数据类型或者由数据类型构成的元组，将引发一个 TypeError 异常。

• 在标签中寻找所有td标签，观察源代码发现，第一个td标签列表就是我们要的，所以一旦找到我们要的信息以后，就停止查找，并就信息存在booklist里面

4.3、打印信息

贴上代码

def printUnivList(booklist):
    print("{:^10}\t{:^6}\t{:^10}".format("外借","借阅历史列表","预约请求"))
    print("{:^10}\t{:^6}\t{:^10}".format(booklist[0],booklist[1],booklist[2])

这部分很简单就不说了

4.4、主函数

贴上代码

def main():
    html = getHTMLText("http://202.118.8.7:8991/F/-?func=bor-info")
    booklist = []
    fillBookList(booklist, html)
    printUnivList(booklist)

5、测试

成功的在控制台打印出了我们要的信息！

6、完整的代码

import requests
from bs4 import  BeautifulSoup
import  bs4
def getHTMLText(url):
    try:
        kv = {'user-agent': 'Mozilla/5.0'}
        mydata = {'func':'login-session', 'login_source':'bor-info', 'bor_id': '***', 'bor_verification': '***','bor_library':'NEU50'}
        re = requests.post(url, data=mydata, headers=kv)
        re.raise_for_status()
        re.encoding = re.apparent_encoding
        return re.text
    except:
        print("异常")
        return""
def fillBookList(booklist, html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find(id='history').descendants:
        if isinstance(tr, bs4.element.Tag):
            temp = tr.find_all('td')
            if len(temp)>0:
                booklist.append(temp[1].string.strip())
                booklist.append(temp[3].string.strip())
                booklist.append(temp[5].string.strip())
                break
def printUnivList(booklist):
    print("{:^10}\t{:^6}\t{:^10}".format("外借","借阅历史列表","预约请求"))
    print("{:^10}\t{:^6}\t{:^10}".format(booklist[0],booklist[1],booklist[2]))
def main():
    html = getHTMLText("http://202.118.8.7:8991/F/-?func=bor-info")
    booklist = []
    fillBookList(booklist, html)
    printUnivList(booklist)
main()