爬虫知识点

爬虫知识点

同步滚动：

scrapy框架知识点 https://scrapy-chs.readthedoc...

• xpath() : 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。
• css() : 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.
• extract() : 序列化该节点为unicode字符串并返回list。
• re() : 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。

7、

传入xpath表达式，返回该表达式所对应的所有节点的selector list列表

extract(): 返回被选择元素的unicode字符串

8、yield

yield的作用 这里是在爬取完一页的信息后，我们在当前页面获取到了下一页的链接，然后通过 yield 发起请求，

# 并且将 parse 自己作为回调函数来处理下一页的响应
            #  https://www.jianshu.com/p/7c1a084853d8
            yield Request(self.lrtsUrl + next_link, callback=self.parse, headers=headers)  #获取下一页，parse是回调函数来处理下一页的响应

python基础知识点：

class:#创建类 类就是一个模板，模板里可以包含多个函数，函数里实现一些功能 https://www.cnblogs.com/chengd/articles/7287528.html

def:#创建类中函数

pass:pass 不做任何事情，一般用做占位语句。

if name == '__main__':的作用

https://www.cnblogs.com/kex1n/p/5975575.html

5、python range() 函数可创建一个整数列表，一般用在 for 循环中。

函数语法

range(start, stop[, step])

6、Python len() 方法返回对象（字符、列表、元组等）长度或项目个数。

语法

len()方法语法：

len( s )

7、if not os.path.exists(self.bookname) :

if not x 相当于if x is None ,x等于None, False, 空字符串"", 0, 空列表[], 空字典{}, 空元组()的时候，if not x为if True

报错

1、UnicodeEncodeError: 'gbk' codec can't encode character 'xXX' in position XX

错误原因：编码问题

解决：

.py

import io

import os

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') #改变标准输出的默认编码

2、elasticsearch.exceptions.ConnectionError: ConnectionError(<urllib3.connection.HTTPConnection object at0x00000000039C9828>: Failed to establish a new connection: [WinError 10061] ▒▒▒▒Ŀ▒▒▒▒▒▒▒▒▒▒▒ܾ▒▒▒▒޷▒▒▒▒ӡ▒) caused by: NewConnectionError(<urllib3.connection.HTTPConnection object at 0x00000000039C9828>: Failed to establish a new connection: [WinError 10061] ▒▒▒▒Ŀ▒▒▒▒▒▒▒▒▒▒▒ܾ▒▒▒▒޷▒▒▒▒ӡ▒)

错误原因：数据库那边的问题，导致连接失败

3、IndexError: list index out of range

错误原因：数组有问题 https://blog.csdn.net/huacode...

4、爬取数据的时候爬到一般中断，可以通过try expect来跨过去，继续执行程序

5、^ SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated UXXXXXXXX escape

解决办法： https://www.cnblogs.com/hfdkd...

6、_compile(pattern, flags).findall(string) TypeError: cannot use a string pattern on a bytes-like

https://www.cnblogs.com/areyo...

要注意：findall()的参数需要加上decode('utf-8')

infor = p.text.strip().encode('utf-8').decode('utf-8') #此处用utf-8编码，以免下面查找 ‘主演’下标报错

ya = re.findall('[0-9]+.*\/?', infor)[0]  # re得到年份和地区