chromedp入门

栏目: IT技术 · 发布时间: 4年前

内容简介:chromedp是go写的,支持Chrome DevTools Protocol 的一个驱动浏览器的库。并且它不需要依赖其他的外界服务(比如 Selenium 和 PhantomJs)。Chrome DevTools Protocol (CDP) 的主页在:https://chromedevtools.github.io/devtools-protocol/。它提供一系列的接口来查看,检查,调整并且检查 Chromium 的性能。Chrome 的开发者工具就是使用这一系列的接口,并且 Chrome 开发者工

chromedp是什么?

chromedp是 go 写的,支持Chrome DevTools Protocol 的一个驱动浏览器的库。并且它不需要依赖其他的外界服务(比如 Selenium 和 PhantomJs)。

Chrome DevTools Protocol (CDP)

Chrome DevTools Protocol (CDP) 的主页在:https://chromedevtools.github.io/devtools-protocol/。它提供一系列的接口来查看,检查,调整并且检查 Chromium 的性能。Chrome 的开发者 工具 就是使用这一系列的接口,并且 Chrome 开发者工具来维护这些接口。

所谓 CDP 的协议,本质上是什么呢?本质上是基于 websocket 的一种协议。比如 chromedp入门 在我们打开 webtool 调试工具的时候,其实调试工具也是一个web页面,两个web页面通过websocket建立了一个联系。所以我们如果写了一个客户端程序,也和目标页面创建一个基于 CDP 的 websocket连接,我们也可以通过这个协议来对页面进行操作。

如何打开 Protocol Monitor

在chrome的开发者工具中 chromedp入门 打开实验选项 Protocol Monitor chromedp入门 重启chrome,在console的更多里面就可以打开对应的 Monitor chromedp入门

CDP 协议内容

我们从 Protocol Monitor 面板中可以看到,其中有几个字样,Method,Request,Response。这里的 Method 就是对应官网 https://chromedevtools.github.io/devtools-protocol/ 左侧每个Domain的 Event。

chromedp入门
20200622151635

这里的每个Method方法可能是调试页面给目标页面发送的,但是更多是目标页面给调试页面发送的消息。所以我们需要读懂每个Method的内容。不过很可惜,我个人感觉官网的每个Method文档的描述写的实在是太简单了,也没有看到更详细的描述,只能通过名字和事件来猜测每个Method意思了。

chromedp 使用

chromedp的使用最快的方法就是看 https://github.com/chromedp/examples 这个项目

基本我们可以熟悉最常用的几个方法了:

  • chromedp.NewContext() 初始化chromedp的上下文,后续这个页面都使用这个上下文进行操作

  • chromedp.Run() 运行一个chrome的一系列操作

  • chromedp.Navigate() 将浏览器导航到某个页面

  • chromedp.WaitVisible() 等候某个元素可见,再继续执行。

  • chromedp.Click() 模拟鼠标点击某个元素

  • chromedp.Value() 获取某个元素的value值

  • chromedp.ActionFunc() 再当前页面执行某些自定义函数

  • chromedp.Text() 读取某个元素的text值

  • chromedp.Evaluate() 执行某个js,相当于控制台输入js

  • network.SetExtraHTTPHeaders() 截取请求,额外增加header头

  • chromedp.SendKeys() 模拟键盘操作,输入字符

  • chromedp.Nodes() 根据xpath获取某些元素,并存储进入数组

  • chromedp.NewRemoteAllocator

  • chromedp.OuterHTML() 获取元素的outer html

  • chromedp.Screenshot() 根据某个元素截图

  • page.CaptureScreenshot() 截取整个页面的元素

  • chromedp.Submit() 提交某个表单

  • chromedp.WaitNotPresent() 等候某个元素不存在,比如“正在搜索。。。”

  • chromedp.Tasks{} 一系列Action组成的任务

实践

我们尝试打开 https://www.cnblogs.com/ 的首页,然后获取所有文章的标题和链接:

package main

import (
 "context"
 "fmt"
 "log"

 "github.com/chromedp/cdproto/cdp"
 "github.com/chromedp/chromedp"
)

func main() {

 ctx, cancel := chromedp.NewContext(
  context.Background(),
  chromedp.WithLogf(log.Printf),
 )
 defer cancel()

 var nodes []*cdp.Node
 err := chromedp.Run(ctx,
  chromedp.Navigate("https://www.cnblogs.com/"),
  chromedp.WaitVisible(`#footer`, chromedp.ByID),
  chromedp.Nodes(`.//a[@class="titlelnk"]`, &nodes),
 )
 if err != nil {
  log.Fatal(err)
 }

 fmt.Println("get nodes:", len(nodes))
 // print titles
 for _, node := range nodes {
  fmt.Println(node.Children[0].NodeValue, ":", node.AttributeValue("href"))
 }
}


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

编程真好玩

编程真好玩

[英] 乔恩·伍德科克 / 余宙华 / 南海出版公司 / 2017-8-1 / 88.00元

在美国,编程已进入幼儿园和中小学课堂,是备受欢迎的课程之一。 在英国,编程被列入国家教学大纲,成为6~15岁孩子的必修课。 在芬兰,编程理念融入了小学的各门课程,孩子们可以随时随地学编程。 编程已经成为世界的通用语言,和听、说、读、写、算一样,是孩子必须掌握的技能。 Scratch是美国麻省理工学院设计开发的可视化少儿编程工具,全球1500多万孩子正在学习使用。它把枯燥乏味......一起来看看 《编程真好玩》 这本书的介绍吧!

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具