关于爬虫你最想知道的 16 个问题

阅读文本大概需要 6.66 分钟。

这是涛哥给你推荐的第39篇好文

来源 ：痴海 |  作者：痴海

我收集了大家关注爬虫最关心的  16 个问题，这里我再整理下分享给大家，并一一解答。

1. 现在爬虫好找工作吗？

如果是一年前我可能会说爬虫的工作还是挺好找的，但现在已经不好找了，一市场饱和了，二是爬虫要求的能力也越来越高。现在找爬虫都需要你有一年以上的实际工作经验，并且也要求一定的反爬能力。

2. 爬虫薪资一般多少？

在一线城市，一年左右的爬虫薪资大概 1W 以上，如果你能力比较强 15K～ 18K 都是没问题的。对于刚毕业的同学来说，7K ～ 9K 之间。

3. 爬虫一般怎么解决加密问题

对于网页端来说通常加密的算法是写在 js 代码里的，所以首先你要对 js 语言有所了解，至少知道 js 基础的内容。其次找到对应 js 加密代码，然后找出关键的函数。把 js 代码在 node.js 环境进行调试，最后在 Python 环境下利用 execjs 库去执行调试好的代码。

第二种就是模拟浏览器环境直接获取渲染后的数据，最常用的手段就是利用 Selenium 框架了。这种方式非常便利，当然对应的缺点就是效率非常低下。不过现在有新的框架来取代 Selenium，即 Puppeteer，这个框架你可以看出是异步版的 Selenium。

4. 学会爬虫都需要哪些方面的知识

三部分的内容：1 Python 基础；2 爬虫基础；3 反爬的学习；

这三部分的内容是做爬虫必备的知识，做爬虫主流的语言是使用 Python，因为 Python 有非常丰富的爬虫库，可以直接使用非常的方便。

对于爬虫程序我个人总结了一个万能公式：

爬虫程序 = 网络请求 + 数据解析 + 数据存储

这三部分就对应这爬虫的基础，任何一个爬虫程序都会保存这三部分的内容。一些复杂的爬虫无非是在此基础上添加些别的内容。

一个爬虫工程师反爬能力有多强，他的爬虫实力就有多高。反爬的学习是爬虫领取最难学习的部分，这部分的学习主要还是以实战为主。有机会我在专门出篇文章讲讲。

5. 验证码的问题一般如何解决

大体的思路有两种：

1 正向破解

比如常见的图形验证码，你可以首先把图片保存下来，然后利用一些图文识别图去识别相应的内容。对于滑块验证码，你可以利用 Selenium 框架去计算缺口的距离，然后模拟鼠标拖动滑块。

2 逆向破解

这个就涉及到验证码的实现逻辑，你需要看懂对方验证码实现的逻辑，看看发送验证码请求的时候需要哪些参数，而这些参数又是怎么生成的，模拟请求。逆向破解属于短暂型的省力做法，但相应的难度非常的大。

3 直接使用打码平台

上面说两种方式都属于非常耗时耗力的行为，而且一旦对方网站反爬策略更新，你的代码就会失效。所以能花钱解决的事，大家就选择直接使用打码平台就好。

6. 干爬虫，会进局子嘛？

涉及个人敏感信息，抓取超过 1K 条以上就构成违法犯罪的行为。很多爬虫属于灰色的地带，只要你不太高调和多于过分，对方是不会追究什么的。所以大体来说准守原则，低调行事，是不会进局子的。

7. 去哪找爬虫的小单子，想挣个电话费

爬虫的私活不建议大家做，收益低，还非常的耗自己的精力。付出和收入不成正比。

8. 无爬虫经验，怎么找到第一份工作

无爬虫经验是无法找到工作的，但爬虫的经验并不说一定要实际做个爬虫的工作才算。只要你自己有爬过任何一个网站，你就有爬虫的经验。所以你想要找到一份爬虫的工作，一定要实际去找些网站进行爬取。模仿别人的项目，尝试自己写些爬虫代码，总结遇到的坑点。多爬几个网站之后，你就有了自己的爬虫经验，这时候在刷些面试题，就很容易找的到工作。

9. 现在 Python 各领域前景如何

Python 领域最有前景的就是 AI 人工智能方向，其次是 Python 后台，web 前端，数据分析，最后就是爬虫。

10. 如何使用 Python 打造一个高 Star 项目

给大家提供两种思路：

1 资源整合

对于技术不是很好的同学来说，你就可以整理 Python 领域相关的所有干货，比如 Python 经典书籍，Python 算法大全，Python 经典的文章等等。做最全的资源合集项目。

2 开发实用的项目

如果你的技术能力非常强，那你就多留意实际生活中遇到的痛点，针对这个痛点开发出一个实用的项目。比如说对于公众号历史文章看起来非常的不方便，那你是不是可以考虑写个公众号爬虫，把所有的历史文章整理成 pdf 电子数据。实际上 Github 已经有人这样做了，而且得到非高的 Star。

11. 自学到啥程度能找工作

我最初在学习爬虫的时候，我把爬虫所需要学习的内容都做了一个思维导图，如果你把下面的思维导图的内容全部学完，就能找到工作。思维导图的资源我也会在文末分享给大家。

12. 爬虫面试资料

爬虫面试资料和思维导图的资源，还有一些 Python 视频资源，我都上传到后台了，大家在后台回复「 爬虫快闪 」即可获取。

13. 如何用 Python 创造睡后收入

这个话题就可以单独在开个快闪群，我自身在上海工作了一年多的时间里，是没有花过一分工资的。这里就不在展开，等我下期的快闪活动在给大家分享。

14. 爬取过程中数据需要做简单去重、确定数据是否符合要求吗

数据的一些去重和格式的规范，都是以你具体的业务需求来定的。一般来说爬虫爬下来的数据是要进行去重的处理，然后转换成和别的组定义好的数据格式，以便其他人使用。

15. 爬虫在工作中的主要任务

爬虫的日常工作就是爬取数据，再者就是维护现有的爬虫代码，使其能正常运行。

16. 学到爬虫后期是打算转机器学习还是数据分析 or 后端开发？ 

爬虫是一个适合做技能，不适合做职业发展的方向。所有如果你想学爬虫并且未来想靠爬虫吃这碗饭，你一定要把逆向、js 破解、分布式、异步学透。后期如果你不想继续学爬虫，那你在入行爬虫的时候就要想好，你未来想走什么方向。是数据分析、后端开发、还是机器学习，一定要在你自身感兴趣的前提下去做选择。

最后我把一些资料都上传到后台了，大家后台回复「 爬虫快闪 」就可以获取。

--EOF

之前我在微信群给大家推荐Python课程，但没有同步公号。所以再提醒一下大家，优惠 最后一天，原价99元，优惠价68元， 作为公号福利，我把课程 全部返现的24元 给大家，只需要 44元就可以到手 。 只有一天， 大家不要错过了，目前7000+学习，跟着练习也能快速掌握Python，开发一套实战项目。

加入了记得加我微信