超级易懂爬虫系列之爬虫框架scrapy

在前面的数据流程图中反复提到了Request对象，这个是scrapy内部自己定义的对象，该对象代表一个http请求。其定义如下：

class scrapy.http. Request ( url [ , callback , method=’GET’ , headers , body , cookies , meta , encoding=’utf-8′ , priority=0 , dont_filter=False , errback ] )

参数很多，其中我们比较关心的是url参数和callback参数，url参数用来表示请求的url，callback参数表示回调函数，当该url被downloader组件下载完成后会生成一个Response对象，且会将其以第一个参数的形式自动传递给该回调函数。

其常用代码如下：

def parse(self, response):
    print response.text
 
Request('http://www.baidu.com', parse)#回调parse函数

其余各个参数的详细意义，大家感兴趣的话可以看： https://doc.scrapy.org/en/latest/topics/request-response.html#scrapy.http.Request

首先打开工程的spiders目录下的spider.py，这个就是需要我们自定义的类，即框架中的spider组件。代码如下：

# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import scrapy
from scrapy_study.items import ImageItem
 
#定义spider组件，继承自scrapy.Spider
class Spider(scrapy.Spider):
    print 'enter spider'
 
    name = "spider_girl"
    allowed_domains = ["iyangzi.com"]
    start_urls = ["http://iyangzi.com/?p=21"] #指定需要爬取的起始url
 
 
     #只需要重写该函数即可，框架会自动回调该函数
    def parse(self, response):
        print 'start parse'
        soup = BeautifulSoup(response.text, 'html.parser', from_encoding='utf-8')
        all_img = soup.find('div', class_='post-content').find_all('img')
 
        img_items=[]
        for img in all_img:
            src = img['src']
            item=ImageItem()  #实例化item对象，该对象是我们在items.py中定义的
            item['img_src']=src
            img_items.append(item)
        return img_items

代码注释很详细，需要注意的是name，start_urls这两个字段是必须这么写的，当然也可以不这么写，这个我们在后面再讲，免得搞复杂了。主要就是重写parse函数，该函数的第一个参数response就是框架返回的Response对象。然后通过解析器对该response进行解析，此处为了和前面的内容衔接使用的是BeautifulSoup。

需要注意的是scrapy默认不能在IDE中调试，如果要在IDE中运行，可以在项目的根目录下创建一个entry.py模块，然后在该文件中添加如下代码：

from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'spider_girl'])

execute函数[]参数的第三个值即是我们自定义的spider组件中的name字段的值，必须一一对应，然后运行时直接run entry.py即可。当然如果是pycharm的话还可以在run配置中配置一下即可，具体操作请自行百度解决。

如果程序运行时出现win32 error错误是因为未安装pywin32模块，只需要下载安装即可，下载地址： https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/

接下来就是items.py

import scrapy
 
#定义item组件，继承自scrapy.Item
class ImageItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    img_src=scrapy.Field()

定义item组件，继承自scrapy.Item即可，这样做的好处是，当我们在spider组件的parse函数中实例化item然后返回时框架会直接讲其传递给pipelines组件处理。这样就达到了讲数据抓取与处理分离的目的。如果不这么做，需要我们自己处理，这么做之后框架会替我们完成这个步骤

然后就是pipelines.py,代码如下：

# -*- coding: utf-8 -*-
 
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import os
import urllib2
 
from items import ImageItem
class ScrapyStudyPipeline(object):
    print 'enter pipelines'
    
    count=1
    girl_dir = 'C:\Users\htq\Desktop\girl_'
    if not os.path.exists(girl_dir):
        os.mkdir(girl_dir)
    os.chdir(girl_dir)
 
    def process_item(self, item, spider):
        if isinstance(item,ImageItem):
            src=item['img_src']
            name = 'iyangzi_' + str(self.count)
            with open(name + '.jpg', 'ab') as img_object:
                img_content = urllib2.urlopen(src).read()
                img_object.write(img_content)
                img_object.flush()
            self.count+=1
        return item

可以看到和前面不同的是该类没有继承scrapy框架的某个类，既然没继承，那框架怎么能够回调process_item函数呢？答案就是在setting.py中进行配置，注释中也提醒了我们需要在配置文件中进行配置

Don't forget to add your pipeline to the ITEM_PIPELINES setting

如果我们使用的是scrapy自动为我们生成的整个工程结构的话，该配置默认是注释掉的，需要我们把注释去掉使得该配置生效。如下是去掉注释后的代码：

# Configure item pipelines
# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'scrapy_study.pipelines.ScrapyStudyPipeline': 300,
}

这样scrapy框架就可以回调process_item函数，我们只需要在该函数中处理item即可。该函数默认定义如下：

def process_item(self, item, spider):

其中的item我们期望是在items中定义的item组件类型，如此处的ImageItem，spider期望是我们自定义的spider对象类型。所以在使用前可以使用isinstance判断下。