内容简介：不止不觉中，已经大学毕业上了研究生了，其实这一系列教程很早就想开始写，由于一堆事情加上拖到了现在。（原写于2017年9月18号）大概是大二下学期刚开学的时候，我开始接触了Web开发，那个时候跟着网上看视频，学习了HTTP Get与Post请求，了解了网站是怎么个工作的。我当时突然联想到了平时都在用的课程格子，想着十分有趣，想着能不能用这种技术去做这样一款查课表的东西。于是乎，网上寻找资料，了解了登陆的原理，以及如何获取到Cookie。当时，我最熟悉的语言是C#，从网上找了个解析HTML的dll，用着自带的
不止不觉中，已经大学毕业上了研究生了，其实这一系列教程很早就想开始写，由于一堆事情加上拖到了现在。（原写于2017年9月18号）
缘起
大概是大二下学期刚开学的时候，我开始接触了Web开发，那个时候跟着网上看视频，学习了HTTP Get与Post请求，了解了网站是怎么个工作的。我当时突然联想到了平时都在用的课程格子，想着十分有趣，想着能不能用这种技术去做这样一款查课表的东西。
于是乎，网上寻找资料，了解了登陆的原理，以及如何获取到Cookie。当时，我最熟悉的语言是C#，从网上找了个解析HTML的dll，用着自带的HttpWebRequest就开始搞了。那时还不会用chrome，用的HttpWatch，也遇到了很多坑，不过也通过自己的努力把学校的课表搞下来了。
不过，我发现单纯搞个课表也并没有什么卵用，于是我想到了当时正值学校抢课期间，我就做个抢课软件，那还不吊炸天。
于是我用那个只能在IE上跑起来的HttpWatch抓到了JSON的数据，当时也不知道JSON是什么，只知道XML，还网上问了一下这是什么格式的数据，后来就知道这是传说中的JSON，又去恶补了一遍JSON的知识。然后又找了个C#的解析JSON的dll，在我的电脑上把抢课的软件跑起来了，下面就是当时的软件截图。
就是通过这个自己编写的这个爬虫软件，我选上了当时的“英文记录片视听”这门课，不过后来听说这门课有点坑，我又给退了，o(╯□╰)o。
我都做过哪些？
自从那以后，我开始对爬虫产生了浓厚的兴趣，没事儿就爬点东西玩儿，下面是我搞过的几个和爬虫相关的小应用。
USTB选课系统
练习客户端开发，把我校的选课系统移植到了Android、iOS、Mac、Ubuntu、Windows客户端上，见 github.com/nladuo/ustb… 。
教务信息服务号
查询教务系统的成绩、学分、课表等，用来练习微信开发的。
淘宝Bra爬虫
统计一下中国女性的胸围分布。
还书提醒
提醒自己别忘了还书。
链家爬虫
学习scrapy时候写的。
种子站
拿DHT爬虫+Sphinx做的种子搜索引擎，后来数据太多了，网站已经关了，只有图了。
以上所述就是小编给大家介绍的《那些年，我爬过的北科(序)——我和爬虫的缘分》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
数据挖掘导论
Pang-Ning Tan, Michael Steinbach / 范明 范宏建 / 人民邮电出版社 / 2006-01-01 / 49.00元
本书全面介绍了数据挖掘的理论和方法，旨在为读者提供将数据挖掘应用于实际问题所必需的知识。本书涵盖五个主题：数据、分类、关联分析、聚类和异常检测。除异常检测外，每个主题都包含两章：前面一章讲述基本概念、代表性算法和评估技术，后面一章较深入地讨论高级概念和算法。目的是使读者在透彻地理解数据挖掘基础的同时，还能了解更多重要的高级主题。此外，书中还提供了大量示例、图表和习题。 本书适合作为......一起来看看 《数据挖掘导论》 这本书的介绍吧!
