splash 实现类似selenium的WebDriverWait

栏目: Lua · 发布时间: 7年前

内容简介:在用splash写爬虫的时候发现没有类似以freebuf为例。使用默认lua代码时经常碰到页面没有加载完全就返回源码的情况。参考了下官方文档。在lua代码中实现类似的功能。

在用splash写爬虫的时候发现没有类似 selenium的WebDriverWait 的功能。

以freebuf为例。使用默认 lua 代码时经常碰到页面没有加载完全就返回源码的情况。

参考了下官方文档。在lua代码中实现类似的功能。

在lua代码中,我们可以用 splash:select 函数来获取html的元素,因此可以通过监测某个元素是否存在来判断网页是否加载完成。当然也可以使用 splash:wait 来等待多少秒后返回源码到scrapy。

function main(splash)
    splash.images_enabled = false
    assert(splash:go(splash.args.url))
    assert(splash:wait(1))

    local el = splash:select('.icon-login')

    while not  el do
      assert(splash:wait(2))
      el = splash:select('.icon-login')
      if el then
          break
      end
    end
    assert(splash:wait(2))
    return  {splash:html(),splash:png()}
end

splash 实现类似selenium的WebDriverWait


以上所述就是小编给大家介绍的《splash 实现类似selenium的WebDriverWait》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

奇点系列

奇点系列

彼得•蒂尔、里德•霍夫曼、本•霍洛维茨、埃里克•杰克逊等 / 高玉芳、路蒙佳、杨晓红、徐彬等 / 中信出版社 / 2015-6-20 / 182.00

1.硅谷创投教父、PayPal创始人彼得•蒂尔、LinkedIn创始人里德•霍夫曼、创业导师本•霍洛维茨、“PayPal黑帮”初创成员埃里克•杰克逊联合作品。 2.彼得•蒂尔与埃隆•马斯克的首次交锋,PayPal从0到1改变全球金融的生死突围,商业硬汉的创业史诗,揭秘“PayPal黑帮”的创业维艰与联盟关系。 3.《人民日报》推荐创业者必读书目!“奇点系列”的作者们以及“PayPal黑......一起来看看 《奇点系列》 这本书的介绍吧!

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器

html转js在线工具
html转js在线工具

html转js在线工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具