猫哥教你写爬虫 047--scrapy框架

Scrapy的结构

方案2: 直接下载whl库进行安装， 简单 , 最近需要翻墙, 不知道以后怎样...

方案3: 安装vc++2015, 对应14版本， 试了，不管用, 你就别试了...

创建爬虫项目

项目结构

E:\helloSpider\douban\douban\spiders\top250.py

import scrapy
import bs4
# 定义一个爬虫类DoubanSpider。就像我刚刚讲过的那样，DoubanSpider类继承自scrapy.Spider类。
class DoubanSpider(scrapy.Spider):
    # name是定义爬虫的名字，这个名字是爬虫的唯一标识。name = 'douban'意思是定义爬虫的名字为douban。等会我们启动爬虫的时候，要用到这个名字。
    name = 'douban'
    # allowed_domains是定义允许爬虫爬取的网址域名（不需要加https://）。如果网址的域名不在这个列表里，就会被过滤掉。
    allowed_domains = ['book.douban.com']
    # start_urls是定义起始网址，就是爬虫从哪个网址开始抓取。在此，allowed_domains的设定对start_urls里的网址不会有影响。
    start_urls = ['https://book.douban.com/top250?start=0']
    # parse是Scrapy里默认处理response的一个方法
    def parse(self,response):
        print(response.text)
复制代码

之前分析过页面规律

十页变一页...

修改代码...

import scrapy
import bs4
# 定义一个爬虫类DoubanSpider。就像我刚刚讲过的那样，DoubanSpider类继承自scrapy.Spider类。
class DoubanSpider(scrapy.Spider):
    # name是定义爬虫的名字，这个名字是爬虫的唯一标识。name = 'douban'意思是定义爬虫的名字为douban。等会我们启动爬虫的时候，要用到这个名字。
    name = 'douban'
    # allowed_domains是定义允许爬虫爬取的网址域名（不需要加https://）。如果网址的域名不在这个列表里，就会被过滤掉。
    allowed_domains = ['book.douban.com']
    # start_urls是定义起始网址，就是爬虫从哪个网址开始抓取。在此，allowed_domains的设定对start_urls里的网址不会有影响。
    start_urls = []
    for x in range(3):
        url = 'https://book.douban.com/top250?start='+str(x*25)
        start_urls.append(url)
    # parse是Scrapy里默认处理response的一个方法
    def parse(self,response):
        print(response.text)
复制代码

import scrapy
import bs4
from ..items import DoubanItem
# 定义一个爬虫类DoubanSpider。就像我刚刚讲过的那样，DoubanSpider类继承自scrapy.Spider类。
class DoubanSpider(scrapy.Spider):
    # name是定义爬虫的名字，这个名字是爬虫的唯一标识。name = 'douban'意思是定义爬虫的名字为douban。等会我们启动爬虫的时候，要用到这个名字。
    name = 'douban'
    # allowed_domains是定义允许爬虫爬取的网址域名（不需要加https://）。如果网址的域名不在这个列表里，就会被过滤掉。
    allowed_domains = ['book.douban.com']
    # start_urls是定义起始网址，就是爬虫从哪个网址开始抓取。在此，allowed_domains的设定对start_urls里的网址不会有影响。
    start_urls = []
    for x in range(3):
        url = 'https://book.douban.com/top250?start='+str(x*25)
        start_urls.append(url)
    # parse是Scrapy里默认处理response的一个方法
    def parse(self, response):
        bs = bs4.BeautifulSoup(response.text, 'html.parser')
        datas = bs.find_all('tr', class_='item')
        for data in datas:
            title = data.find_all('a')[1]['title']
            publish = data.find('p', class_="pl").text
            score = data.find('span', class_="rating_nums").text
            print([title, publish, score])
复制代码

import scrapy
class DoubanItem(scrapy.Item):
    # 让数据能以类似字典的形式记录
    title = scrapy.Field()
    publish = scrapy.Field()
    score = scrapy.Field()
复制代码

修改douban250.py

import scrapy
import bs4
from ..items import DoubanItem
# 定义一个爬虫类DoubanSpider。就像我刚刚讲过的那样，DoubanSpider类继承自scrapy.Spider类。
class DoubanSpider(scrapy.Spider):
    # name是定义爬虫的名字，这个名字是爬虫的唯一标识。name = 'douban'意思是定义爬虫的名字为douban。等会我们启动爬虫的时候，要用到这个名字。
    name = 'douban'
    # allowed_domains是定义允许爬虫爬取的网址域名（不需要加https://）。如果网址的域名不在这个列表里，就会被过滤掉。
    allowed_domains = ['book.douban.com']
    # start_urls是定义起始网址，就是爬虫从哪个网址开始抓取。在此，allowed_domains的设定对start_urls里的网址不会有影响。
    start_urls = []
    for x in range(3):
        url = 'https://book.douban.com/top250?start='+str(x*25)
        start_urls.append(url)
    # parse是Scrapy里默认处理response的一个方法
    def parse(self, response):
        bs = bs4.BeautifulSoup(response.text, 'html.parser')
        datas = bs.find_all('tr', class_='item')
        for data in datas:
            item = DoubanItem()
            item['title'] = data.find_all('a')[1]['title']
            item['publish'] = data.find('p', class_="pl").text
            item['score'] = data.find('span', class_="rating_nums").text
            print(item)
            yield item  # 类似于return, 但是不会结束函数
复制代码

把 ROBOTSTXT_OBEY=True 改成 ROBOTSTXT_OBEY=False ，就是把遵守robots协议换成无需遵从robots协议，这样Scrapy就能不受限制地运行。

方法二: main.py

在最外层的大文件夹里新建一个main.py文件（与scrapy.cfg同级）

# 导入cmdline模块,可以实现控制终端命令行
from scrapy import cmdline
# 执行命令 "scrapy crawl douban"
cmdline.execute(['scrapy', 'crawl', 'douban'])
复制代码

了教学方便理解，先写了爬虫，再定义数据。但是，在实际项目实战中，常常顺序却是相反的——先定义数据，再写爬虫。所以，流程图应如下：

存储到mysql

存储数据需要修改pipelines.py文件, 不过我们需要先建立一个数据库

drop database if exists douban;
create database douban character set utf8;
use douban;
create table book(
	id int primary key auto_increment,
    title varchar(255) not null,
    publish varchar(255) not null,
    score decimal(2,1) not null
);
复制代码

mysql> desc book;
+---------+--------------+------+-----+---------+----------------+
| Field   | Type         | Null | Key | Default | Extra          |
+---------+--------------+------+-----+---------+----------------+
| id      | int(11)      | NO   | PRI | NULL    | auto_increment |
| title   | varchar(255) | NO   |     | NULL    |                |
| publish | varchar(255) | NO   |     | NULL    |                |
| score   | decimal(2,1) | NO   |     | NULL    |                |
+---------+--------------+------+-----+---------+----------------+
4 rows in set (0.01 sec)
复制代码

有了数据库, 我们开始写 E:\helloSpider\douban\douban\pipelines.py

# -*- coding: utf-8 -*-
import pymysql
class DoubanPipeline(object):
    def __init__(self):
        # 创建数据库连接
        self.connection = pymysql.connect(
            host='localhost',
            port=3306,
            user='root',
            password='root',
            db='douban',
            charset='utf8'
        )
        self.cursor = self.connection.cursor()
    def process_item(self, item, third):
        # 拼接 sql 语句
        sql = "insert into book(title,publish,score) values({},{},{})".format(
            repr(item['title']), repr(item['publish']), item['score'])
        # 执行sql语句
        self.cursor.execute(sql)
        self.connection.commit()
复制代码