Scrapy框架get() 、getall() 、extract() 、extract_first()的区别

栏目: 编程工具 · 发布时间: 6年前

内容简介：看官方文档（链接附在文末），看到了关于get()、get()方法的使用，查阅网络没有资料，那就自己记录一下。y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~先说结论：

看官方文档（链接附在文末），看到了关于get()、get()方法的使用，查阅网络没有资料，那就自己记录一下。

y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~

先说结论：

对于scrapy.selector.unified.SelectorList对象，getall()==extract(),get()==extract_first()

对于scrapy.selector.unified.Selector对象，getall()==extract(),get()!=extract_first()

使用scrapy shell 进行测试

scrapy shell https://gavbus668.com/

得到如下结果：

Scrapy框架get() 、getall() 、extract() 、extract_first()的区别

皆是常规操作

返回html的前200个字符，看看没有发生错误

response.text[:200]

得到：

Out[3]: '<html>rn<head>rn <meta charset="utf-8">rn <meta http-equiv="X-UA-Compatible" content="IE=edge">rn <meta name="renderer" content="webkit">rn <meta name="viewport" content="width=device-widt'

bingo

继续，使用Scrapy Selector下一步操作

Scrapy框架get() 、getall() 、extract() 、extract_first()的区别

In [5]: response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()')

Out[5]:

[<Selector xpath='//*[@id="waterfall"]/div[1]/a/div[2]/span/text()' data='DNW-025 彼女が制服に着替えたら。5'>,

<Selector xpath='//*[@id="waterfall"]/div[1]/a/div[2]/span/text()' data='rntttttt'>,

<Selector xpath='//*[@id="waterfall"]/div[1]/a/div[2]/span/text()' data=' / '>]

In [10]: type(response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()'))

Out[10]: scrapy.selector.unified.SelectorList

发现使用Selector得到的是一个SelectorList对象实例

所以get() 、getall() 、extract() 、extract_first()是SelectorList对象实例的方法

继续使用get() 、getall() 、extract() 、extract_first()，观察区别：

In [6]: response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()').get()

Out[6]: 'DNW-025 彼女が制服に着替えたら。5'

In [7]: response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()').getall()

Out[7]: ['DNW-025 彼女が制服に着替えたら。5', 'rntttttt', 'rntttttt', ' / ']

In [8]: response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()').extract()

Out[8]: ['DNW-025 彼女が制服に着替えたら。5', 'rntttttt', 'rntttttt', ' / ']

In [9]: response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()').extract_first()

Out[9]: 'DNW-025 彼女が制服に着替えたら。5'

over，总结一下：

对于scrapy.selector.unified.SelectorList对象

get() == extract_first()

返回的是一个list，里面包含了多个string，如果只有一个string，则返回['我很孤独']这样的形式

getall() == extract()

返回的是string，list里面第一个string

extract_first()与get()有区别与Selector对象有关

In [17]: type(response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()'))
Out[17]: scrapy.selector.unified.SelectorList

In [18]: type(response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()')[0])
Out[18]: scrapy.selector.unified.Selector

In [19]: response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()')[0].get()
Out[19]: 'DNW-025 彼女が制服に着替えたら。5'

In [20]: response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()')[0].getall()
Out[20]: ['DNW-025 彼女が制服に着替えたら。5']

In [21]: response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()')[0].extract()
Out[21]: 'DNW-025 彼女が制服に着替えたら。5'

In [22]: response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()')[0].extract_first()
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-22-9eada5e1e561> in <module>
----> 1 response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()')[0].extract_first()

AttributeError: 'Selector' object has no attribute 'extract_first'

In [23]: response.xpath('//*[@id="waterfall"]/div[1]/a/div[2]/span/text()')[0]
Out[23]: <Selector xpath='//*[@id="waterfall"]/div[1]/a/div[2]/span/text()' data='DNW-025 彼女が制服に着替えたら。5'>

发现：对于Selector类型的对象，并不能使用extract_first()方法，而使用get()可以

Scrapy框架get() 、getall() 、extract() 、extract_first()的区别

文末附官方文档链接链接

Scrapy官方教程——关于get()、getall()方法

以上所述就是小编给大家介绍的《Scrapy框架get() 、getall() 、extract() 、extract_first()的区别》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对码农网的支持！

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

Spring Into HTML and CSS

Molly E. Holzschlag / Addison-Wesley Professional / 2005-5-2 / USD 34.99

The fastest route to true HTML/CSS mastery! Need to build a web site? Or update one? Or just create some effective new web content? Maybe you just need to update your skills, do the job better. Welco......一起来看看《Spring Into HTML and CSS》这本书的介绍吧!

码农工具