Golang实现简单爬虫框架(1)——项目介绍与环境准备

栏目: Go · 发布时间: 5年前

内容简介:最近学习Go语言,看了慕课网Go安装包下载网址:选择对应的版本下载即可

最近学习 Go 语言,看了慕课网 Google工程师深度讲解go语言 这门课,现在把课程中的爬虫项目整理出来,同时也作为自己学习的一个总结。本人菜鸟一枚,如有任何问题,欢迎大家指正。

一、环境准备

1、go语言安装

Go安装包下载网址: https://studygolang.com/dl

选择对应的版本下载即可

Golang实现简单爬虫框架(1)——项目介绍与环境准备

Windows用户推荐使用 msi 安装,简单方便,而且会自动配置好环境变量

打开Windows中的命令提示符(cmd.exe)执行命令: go version 查看go语言版本

Golang实现简单爬虫框架(1)——项目介绍与环境准备

2、环境配置

然后我们需要设置Go语言工作空间gopath目录(Go语言开发的项目路径)

Windows 设置如下,新建一个环境变量名称叫做GOPATH,值为你的工作目录,例如GOPATH=D:Workspace

以上 %GOPATH% 目录约定有三个子目录:

src 存放源代码(比如:.go .c .h .s等)

pkg 编译后生成的文件(比如:.a)

bin 编译后生成的可执行文件

bin和pkg目录可以不创建,go命令会自动创建(如 go install),只需要创建src目录即可。

3、Goland安装与破解

(1)安装

Goland官网: https://www.jetbrains.com/go/

选择对应版本下载安装即可

Golang实现简单爬虫框架(1)——项目介绍与环境准备

(2)破解

关于Goland的破解方式网上已经又很多文章,可以参考这篇: https://blog.csdn.net/dodod20...

二、项目介绍

本次爬虫爬取的是 珍爱网 的用户信息数据,爬取步骤为:

  • 1.进入珍爱网 城市页面 爬取所有的城市信息
  • 2.进入 城市详情页 爬取用户URL地址信息
  • 3.进入 用户详情页 爬取所需要的用户信息

爬虫算法如下

Golang实现简单爬虫框架(1)——项目介绍与环境准备

在下篇博客中,会实现一个单机版的爬虫项目,敬请关注。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

从算法到程序

从算法到程序

徐子珊 / 2013-3 / 59.00元

《从算法到程序:从应用问题编程实践全面体验算法理论》第1章讨论算法设计、分析的基本概念,第2章讨论算法设计中最常用的几个数据结构,包括链表、栈、队列、二叉搜索数、散列表等。第3章讨论了算法设计的两个基本策略:渐增策略与分支策略。这3章的内容,为读者阅读本书以后的内容奠定了基础。第4章讨论了几个代数计算的基本问题及其算法,包括矩阵运算、解线性方程组、多项式运算等。第5章讨论了几个关于计算几何的基本问......一起来看看 《从算法到程序》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

html转js在线工具
html转js在线工具

html转js在线工具