中数经纬：爬虫大赛优秀工程师参赛感言

随着中数经纬爬虫PK赛在 程序员 圈子持续曝光，业界对其的期待与日俱增。此次大赛得到20000+程序员的关注与支持，参赛者自发分享爬虫项目经验，对代理池、公众号内容显示样式、验证码、分布式等问题进行深入探讨，给正在做爬虫项目的程序员开拓思路。

决赛在即，我们采访了一些参赛选手，对其作品进行解析，爬取的数据源有猫眼APP、豆瓣、斗图表情包、B站、东方财富股吧、今日头条、京东评论、社区、公众号文章等，节选其中15位优秀工程师发表大赛感言。

1、痕迹 爬虫爱好者

借助中数经纬公司提供的爬虫大赛项目平台，使我更深入的了解了爬虫强大的功能，对于个人学习，工作思维等方面有了显著的提升。

2、李建国  PHP开发工程师

感谢主办方，让我有机会参加这次爬虫大赛，我爬的是我们金华当地比较知名的一个本地社区论坛。我平时工作没怎么接触过爬虫相关方面的知识，通过这次比赛，我学到了很多。给我提升最多的是有关正则表达式方面的知识，因为在我爬页面的时候，要过滤很多无关的信息。正则表达式就发挥了很大的作用。总之通过这次比赛让我受益匪浅，以后如果还有这样的比赛，我一定会积极参加的。

3、薛祥  ETL工程师

通过参加本次中数经纬的爬虫比赛, 看到了参赛者在数据源获取、去噪、分析和展示方面的多样性, 对于爬虫技术的理解, 爬虫 工具 的使用不尽相同, 本人在其中学到了很多. 参赛者在数据源获取方面, 主要通过html网页、数据接口获取数据. 去噪方面xpath、css、正则表达式、json格式解析选择器种类繁多。在分析方面学到了不同行业的数据分析维度和指标，在展示方面对数据可视化的操作别具一格，通过本次比赛开拓了视野，让我对于数据集成的理解更加深入。

恭祝商祺。

4、mason zhang  软件工程师

参加爬虫大赛拓宽了视野，看见小伙伴们的各种爬虫技巧，受益颇多。要想在海量数据的互联网获取自己想要的数据，首选爬虫技术，数据无处不在。

5、老表   大三学生

通过爬虫大赛，我把自己的爬虫项目仔细梳理，从爬虫代码，到数据分析，可视化，使我的项目更加有条理，有目的性，在日后的工作中，会让我更加突出。

6、卢文龙 数据产品经理

我比较关注数据变现及数据价值挖掘，通过这次比赛，我在数据爬取内容如何在个人层面变现进行了一些思考，发现爬取东方财富股吧用于做为投资参考值的尝试下，很多软件也会提供一些类似的参考分析，但里面算法很多不知其所以然，且收费的多，不如自己搞一搞。最后在爬虫技术，NLP技术，数据挖掘，理财投资方面都得到了锻炼和提高。

7、杜宽  爬虫爱好者

感谢中数经纬举办的爬虫PK赛，让我重拾了自己的爬虫项目，也认识了很多做爬虫的朋友，经过这次比赛，自己对反爬虫和反反爬虫又有了新的认知，也让自己在这场没有硝烟的战争中更上一层楼。

8、尹强 Python 爬虫工程师

参加这个比赛不仅是对工作的总结，也可以很好的和大家一起分享心得体会。爬虫的百分之九十的失败不是被各种防爬，而是自己放弃了成功的希望。成功与失败就因这一点点的耐性而被划为两种截然不同的“人生”结果。世界上最难超越的人是你自己，赢自己一把！

9、吴乐伟 Python爬虫工程师

参加爬虫大赛，于我而言，获奖倒是其次，更重要的在于学习交流，通过这个机会可以了解其他人的爬虫作品。

10、常怀德 Python爬虫工程师

我觉得参加比赛是一种特别有效的学习方式。多参加类似的比赛可以积累技术经验，检验一个阶段的能力提升。

11、南海九哥  C++爬虫工程师

大赛中各大高手的PK让我认识到了自己的不足，山外有山，天外有天，我还需要充实自己。加油！

12、莫莫UP  运维工程师

中数经纬的这次爬虫大赛让我开拓了视野，让我看到了专业领域的更多榜样；给了我希望，让我看到了未来爬虫工程师的方向；给了我鞭策，让我在今后的工作中更加努力。

13、可心 Python爬虫工程师

温室的花朵无法体会大自然的美丽，参加了这次比赛让我看到了爬虫界美丽，同时也认识到了自己的不足，完善自己。完善代码。加油！

14、刘海滨   C++爬虫工程师

学海无涯, 在软件开发的漫漫长路上, 除了进行自我的软件开发学习, 还要在实际的开发项目中进行实践, 参加公开的编程大赛, 才能取人之长, 补己之短。

15、千年老妖    开发工程师

刚接触golang不久，用 go 试着完成了一套程序用来爬取CSDN的首页，得到的感悟就是编程思想驾驭编程语言，一个好的coder不在意他会多少语言，更在意他具备什么思想。

感谢广大开发者对中数经纬爬虫PK赛的大力支持与关注，小伙伴们在分享项目经验的同时也解决了爬虫中遇到的困惑，技能得到提升。技术在分享与讨论中深化巩固，这也是爬虫PK赛的宗旨。

预知后事如何，请听下回分晓。

阅读原文请点击： http://www.chinadata8.com/reptilian_competition.html

【责任编辑：王雪燕 TEL：（010）68476606】