splash 实现类似selenium的WebDriverWait

栏目: Lua · 发布时间: 7年前

内容简介：在用splash写爬虫的时候发现没有类似以freebuf为例。使用默认lua代码时经常碰到页面没有加载完全就返回源码的情况。参考了下官方文档。在lua代码中实现类似的功能。

在用splash写爬虫的时候发现没有类似 selenium的WebDriverWait 的功能。

以freebuf为例。使用默认 lua 代码时经常碰到页面没有加载完全就返回源码的情况。

参考了下官方文档。在lua代码中实现类似的功能。

在lua代码中，我们可以用 splash:select 函数来获取html的元素，因此可以通过监测某个元素是否存在来判断网页是否加载完成。当然也可以使用 splash:wait 来等待多少秒后返回源码到scrapy。

function main(splash)
    splash.images_enabled = false
    assert(splash:go(splash.args.url))
    assert(splash:wait(1))

    local el = splash:select('.icon-login')

    while not  el do
      assert(splash:wait(2))
      el = splash:select('.icon-login')
      if el then
          break
      end
    end
    assert(splash:wait(2))
    return  {splash:html(),splash:png()}
end

splash 实现类似selenium的WebDriverWait