关于 Cosocket 的 socket busy 报错

栏目: IT技术 · 发布时间: 4年前

内容简介:关于 OpenResty 的简单点儿说,cosocket 是全双工的,如果同一个 lua handler 有一个读线程和一个写线程的话,那么它们可以同时操作一个 cosocket 对象,但是如果两个线程一起读或者写一个 cosocket 对象的话,那么会触发「socket busy」错误。测试需要,我用「nc -l 1111」命令启动了一个 TCP 服务,监听 1111 端口,如果手头没有 linux 环境,不能使用 nc 命令的话,那么你随便用某个网址的 80 端口也是一样的。

关于 OpenResty 的 cosocket ,文档里有如下一段描述:

the cosocket object here is full-duplex, that is, a reader “light thread” and a writer “light thread” can operate on a single cosocket object simultaneously (both “light threads” must belong to the same Lua handler though, see reasons above). But you cannot have two “light threads” both reading (or writing or connecting) the same cosocket, otherwise you might get an error like “socket busy reading” when calling the methods of the cosocket object.

简单点儿说,cosocket 是全双工的,如果同一个 lua handler 有一个读线程和一个写线程的话,那么它们可以同时操作一个 cosocket 对象,但是如果两个线程一起读或者写一个 cosocket 对象的话,那么会触发「socket busy」错误。

测试需要,我用「nc -l 1111」命令启动了一个 TCP 服务,监听 1111 端口,如果手头没有 linux 环境,不能使用 nc 命令的话,那么你随便用某个网址的 80 端口也是一样的。

首先让我们编程复现一下「socket busy」错误,代码逻辑很简单,就是让两个线程对同一个 cosocket 一起发出写操作。通过 resty 运行如下代码:

local sock = ngx.socket.tcp()
sock:connect("127.0.0.1", 1111) -- shell: nc -l 1111

local data = {}

for i = 1, 1024 do
    data[i] = "data"
end

data = table.concat(data) .. "\n"

local function test(worker)
    for i = 1, 9999 do
        ngx.log(ngx.ERR, worker, ": ", i)

        local _, err = sock:send(data)
        -- ngx.sleep(0)

        if err then
            ngx.log(ngx.ERR, worker, ": ", i, " err: ", err)
            break
        end
    end
end

local a = ngx.thread.spawn(test, "a")
local b = ngx.thread.spawn(test, "b")

ngx.thread.wait(a, b)

ngx.thread.kill(a)
ngx.thread.kill(b)

结果如下,确实出现了错误「socket busy」:

关于 Cosocket 的 socket busy 报错

并发出错

我在做实验的时候遇到了两个问题需要说明一下:

  • 问题一:测试数据(本例中 data 为 4k)最好大一点,否则可能无法复现错误。
  • 问题二:从结果看,线程 a 运行了几百次后,线程 b 才开始运行,也就是说线程 a 得到了 CPU 就不愿意撒手,此时可以通过 ngx.sleep(0) 主动交出 CPU 控制权。

接下来看看如何解决「socket busy」错误,既然出现「socket busy」错误的原因是多线程一起读或者写同一个 cosocket 对象,那我们只要加一把锁让操作串行就行了,不过需要注意的是,这里不要通过 lua-resty-lock 来加锁,而应该通过 semaphore 来加锁,这是因为 lua-resty-lock 的控制粒度比较粗,适合请求在多个 worker 时的情况,而 semaphore 的控制粒度比较细,适合请求在单个 worker 时的情况。通过 resty 运行如下代码:

local semaphore = require "ngx.semaphore"
local sema = semaphore.new()

local sock = ngx.socket.tcp()
sock:connect("127.0.0.1", 1111) -- shell: nc -l 1111

local data = {}

for i = 1, 1024 do
    data[i] = "data"
end

data = table.concat(data) .. "\n"

local function test(worker)
    for i = 1, 9999 do
        ngx.log(ngx.ERR, worker, ": ", i)

        local ok, _ = sema:wait(1)

        if not ok then
            break
        end

        local _, err = sock:send(data)
        sema:post()

        if err then
            ngx.log(ngx.ERR, worker, ": ", i, " err: ", err)
            break
        end
    end
end

local a = ngx.thread.spawn(test, "a")
local b = ngx.thread.spawn(test, "b")

sema:post()

ngx.thread.wait(a, b)

ngx.thread.kill(a)
ngx.thread.kill(b)

结果如下,你会发现请求完全执行完了,整个过程中没有出错:

关于 Cosocket 的 socket busy 报错

并发未出错

以后使用 OpenResty 的时候,如果多个线程要同时读或者写同一个 cosocket 对象,那么切记要用 semaphore 控制一下,避免出现「socket busy」错误。当然了,最理想的情况是不用引入 semaphore,每个 cosocket 对象都有一个专门的读线程,一个专门的写线程,此时如果读线程需要写操作,可以考虑通过队列把写操作转给写线程去完成,如此一来既避免使用 semaphore,又充分发挥了全双工的效率。

关于 Cosocket 的 socket busy 报错


以上所述就是小编给大家介绍的《关于 Cosocket 的 socket busy 报错》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

数据结构与算法经典问题解析

数据结构与算法经典问题解析

纳拉辛哈·卡鲁曼希 / 骆嘉伟 / 机械工业出版社 / 2016-6-1 / CNY 79.00

本书是一本数据结构方面的优秀教材,以Java为描述语言,介绍了计算机编程中使用的数据结构和算法。本书强调问题及其分析,而非理论阐述,共分为21章,讲述了基本概念、递归和回溯、链表、栈、队列、树、优先队列和堆、并查集DAT、图算法、排序、查找、选择算法(中位数)、符号表、散列、字符串算法、算法设计技术、贪婪算法、分治算法、动态规划算法、复杂度类型等内容。每章首先阐述必要的理论基础,然后给出问题集。全......一起来看看 《数据结构与算法经典问题解析》 这本书的介绍吧!

SHA 加密
SHA 加密

SHA 加密工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具