OpenResty 最佳实践 （1）

此文已由作者汤晓静授权网易云社区发布。

欢迎访问网易云社区，了解更多网易技术产品运营经验。

OpenResty 发展起源

OpenResty(也称为 ngx_openresty)是一个全功能的 Web 应用服务器。它打包了标准的 nginx 核心，很多的常用的第三方模块，以及它们的大多数依赖项。 通过揉和众多设计良好的 nginx 模块，OpenResty 有效地把 nginx 服务器转变为一个强大的 Web 应用服务器，基于它开发人员可以使用 lua 编程语言对 nginx 核心以及现有的各种 nginx C 模块进行脚本编程，构建出可以处理一万以上并发请求的极端高性能的 Web 应用。

OpenResty 致力于将你的服务器端应用完全运行于 nginx 服务器中，充分利用 nginx 的事件模型来进行非阻塞 I/O 通信。不仅仅是和 HTTP 客户端间的网络通信是非阻塞的，与 MySQL 、PostgreSQL、 Memcached 以及 Redis 等众多后端之间的网络通信也是非阻塞的。 因为 OpenResty 软件包的维护者也是其中打包的许多 nginx 模块的作者，所以 OpenResty 可以确保所包含的所有组件可以可靠地协同工作。

OpenResty 最早是雅虎中国的一个公司项目，起步于 2007 年 10 月。当时兴起了 OpenAPI 的热潮，用于满足各种 Web Service 的需求，基于 Perl 和 Haskell 实现； 2009 章亦春在加入淘宝数据部门的量子团队，决定对 OpenResty 进行重新设计和彻底重写，并把应用重点放在支持像量子统计这样的 Web 产品上面，这是第二代的 OpenResty，基于 nginx 和 lua 进行开发。

为什么要取 OpenResty 这个名字呢？OpenResty 最早是顺应 OpenAPI 的潮流做的，所以 Open 取自“开放”之意，而 Resty 便是 REST 风格的意思。虽然后来也可以基于 ngx_openresty 实现任何形式的 Web service 或者传统的 Web 应用。

也就是说 nginx 不再是一个简单的静态网页服务器，也不再是一个简单的反向代理了，OpenResty 致力于通过一系列 nginx 模块，把 nginx 扩展为全功能的 Web 应用服务器，目前有两大应用目标：

1. 通用目的的 Web 应用服务器。在这个目标下，现有的 Web 应用技术都可以算是和 OpenResty 或多或少有些类似，比如 Nodejs，PHP 等等，但 OpenResty 的性能更加出色。

2. nginx 的脚本扩展编程，为构建灵活的 Web 应用网关和 Web 应用防火墙等功能提供了极大的便利性。

OpenResty 特性概括如下：

• 基于 nginx 的 Web 服务器

• 打包 nginx 核心、常用的第三方模块及依赖项

• 使用 lua 对 nginx 进行脚本编程

• 充分利用 nginx 的事件模型进行非阻塞 I/O 通信

• 使用 lua 以同步方式进行异步编程

• 拓展后端通信方式

综合 OpenResty 的特性，它不仅具备 nginx 的负载均衡、反向代理及传统 http server 等功能，还可以利用 lua 脚本编程实现路由网关，实现访问认证、流量控制、路由控制及日志处理等多种功能；同时利用 cosocket 拓展和后端(mysql、redis、kafaka)通信后，更可开发通用的 restful api 程序。

OpenResty 之 lua 编程

lua 简介

1993 年在巴西里约热内卢天主教大学诞生了一门编程语言，他们给这门语言取了个浪漫的名字 — lua，在葡萄牙语里代表美丽的月亮。事实证明他们没有糟蹋这个优美的单词，lua 语言正如它名字所预示的那样成长为一门简洁、优雅且富有乐趣的语言。

lua 从一开始就是作为一门方便嵌入(其它应用程序)并可扩展的轻量级脚本语言来设计，因此她一直遵从着简单、小巧、可移植、快速的原则，官方实现完全采用 ANSI C 编写，能以 C 程序库的形式嵌入到宿主程序中。luaJIT 2 和标准 lua 5.1 解释器采用的是著名的 MIT 许可协议。正由于上述特点，所以 lua 在游戏开发、机器人控制、分布式应用、图像处理、生物信息学等各种各样的领域中得到了越来越广泛的应用。其中尤以游戏开发为最，许多著名的游戏，比如 World of Warcraft、大话西游，都采用了 lua 来配合引擎完成数据描述、配置管理和逻辑控制等任务。即使像 Redis 这样中性的内存键值数据库也提供了内嵌用户 lua 脚本的官方支持。

作为一门过程型动态语言，lua 有着如下的特性：

1. 变量名没有类型，值才有类型，变量名在运行时可与任何类型的值绑定；

2. 语言只提供唯一一种数据结构，称为表(table)，它混合了数组、哈希，可以用任何类型的值作为 key 和 value。提供了一致且富有表达力的表构造语法，使得 lua 很适合描述复杂的数据；

3. 函数是一等类型，支持匿名函数和正则尾递归(proper tail recursion)；

4. 支持词法定界(lexical scoping)和闭包(closure)；

5. 提供 thread 类型和结构化的协程(coroutine)机制，在此基础上可方便实现协作式多任务；

6. 运行期能编译字符串形式的程序文本并载入虚拟机执行；

7. 通过元表(metatable)和元方法(metamethod)提供动态元机制(dynamic meta-mechanism)，从而允许程序运行时根据需要改变或扩充语法设施的内定语义；

8. 能方便地利用表和动态元机制实现基于原型(prototype-based)的面向对象模型；

9. 从 5.1 版开始提供了完善的模块机制，从而更好地支持开发大型的应用程序；

lua 基础数据类型

print(type("hello world")) --> output:stringprint(type(print))         --> output:functionprint(type(true))          --> output:booleanprint(type(360.0))         --> output:numberprint(type(nil))           --> output:nil复制代码

nil

nil 是一种类型，lua 将 nil 用于表示“无效值”。一个变量在第一次赋值前的默认值是 nil，将 nil 赋予给一个全局变量就等同于删除它。

local numprint(num)        --> output:nil

num = 100print(num)        --> output:100复制代码

boolean (true/false)

布尔类型，可选值 true/false；lua 中 nil 和 false 为“假”，其它所有值均为“真”，比如 0 和空字符串就是“真”。

local a = truelocal b = 0local c = nilif a then
    print("a")        --> output:aelse
    print("not a")    -- 这个没有执行
endif b then
    print("b")        --> output:belse
    print("not b")    -- 这个没有执行
endif c then
    print("c")        -- 这个没有执行else
    print("not c")    --> output:not c
end复制代码

number

Number 类型用于表示实数，和 C/C++ 里面的 double 类型很类似。可以使用数学函数 math.floor(向下取整)和 math.ceil(向上取整)进行取整操作。

local order = 3.99local score = 98.01print(math.floor(order))   --> output:3print(math.ceil(score))    --> output:99复制代码

string

和其他语言 string 大同小异

local str1 = 'hello world'local str2 = "hello lua"local str3 = [["add\name",'hello']]
local str4 = [=[string have a [[]].]=]print(str1)    --> output:hello worldprint(str2)    --> output:hello luaprint(str3)    --> output:"add\name",'hello'print(str4)    --> output:string have a [[]].复制代码

table (数组、字典)

Table 类型实现了一种抽象的“关联数组”。“关联数组”是一种具有特殊索引方式的数组，索引通常是字符串(string)或者 number 类型，但也可以是除 nil 以外的任意类型的值。

local corp = {
    web = "www.google.com",             -- 索引为字符串，key = "web",
                                        --             value = "www.google.com"
    telephone = "12345678",             -- 索引为字符串
    staff = {"Jack", "Scott", "Gary"},  -- 索引为字符串，值也是一个表    100876,                             -- 相当于 [1] = 100876，此时索引为数字
                                        --       key = 1, value = 100876
    100191,                             -- 相当于 [2] = 100191，此时索引为数字
    [10] = 360,                         -- 直接把数字索引给出
    ["city"] = "Beijing"                -- 索引为字符串
}print(corp.web)                         --> output:www.google.comprint(corp["telephone"])                --> output:12345678print(corp[2])                          --> output:100191print(corp["city"])                     --> output:"Beijing"print(corp.staff[1])                    --> output:Jackprint(corp[10])                         --> output:360复制代码

在内部实现上，table 通常实现为一个哈希表、一个数组、或者两者的混合。具体的实现为何种形式，动态依赖于具体的 table 的键分布特点。

function

在 lua 中，函数也是一种数据类型，函数可以存储在变量中，可以通过参数传递给其他函数，还可以作为其他函数的返回值。

local function foo()
    print("in the function")
    -- dosomething()
    local x = 10
    local y = 20
    return x + y
end

local a = foo    -- 把函数赋给变量

print(a())

-- output:in the function30复制代码

lua 表达式

note: lua 中的不等于用 ~= 表示， 和其他语言的 != 不一致

lua 流程控制

lua 的流程控制结构和 python 类似，有几个特例:

• lua 中的 elseif 需要连写，中间不能有空行；python 中写法是 elif

• lua 中没有 continue 流控

if/else/elseif

if a = 1 then    print("1")elseif a == 2 then    print("2")else
    print("3")end复制代码

while

while a > 1 do    if a == 5 then
        break
    end
    a = a + 1end复制代码

repeat

local i = 0repeat    print(i)
    if i == 5 then        break
    end
until true复制代码

for/break

local t = { a = 1, b = 2}for k, v in pairs(t) do  -- 遍历字典    print(k, v)end

local t = {1, 2}for k, v in ipairs(t) do -- 遍历整型数组    print(k, v)endfor i = 1, 10 do        -- range 循环
    print(i)
end复制代码

return

local function foo(arg)    if arg == "" then
        return nil
    end

    return "bar"end复制代码

OpenResty 模块编写

编写一个 access.lua 模块，源码如下：

local _M = {}

_M.check = function()    if ngx.var.http_host == "foo.bar.com" then
        ngx.exit(403)    endendreturn _M       -- 注意 return _M，返回 table 表示的模块复制代码

在 access_by_lua 的 nginx hook 中调用 access 模块：

access_by_lua_block {    local rule = require "access"   -- require 中不需要加 `.lua` 后缀
    rule.check()
}复制代码

OpenResty 核心原理

nginx 进程模型

nginx 是一个 master + 多个 worker 进程模型；master 进程负责管理和监控 worker 进程，如加载和解析配置文件，重启 worker 进程，更新二进制文件等。 worker 进程负责处理请求，每个 worker 地位和功能相同，内部按照 epoll + callback 方式实现并发连接处理；整体架构图如下：

nginx 请求处理流程

每个 worker 进程都分阶段处理 http 请求，简单概括为初始化请求 -> 处理请求行 -> 后端交互 -> 响应头处理 -> 响应包体处理 -> 打印日志等几个阶段。其中处理响应体阶段又可以挂载多个不同的 filter。具体的请求阶段可以参见nginx Phase, nginx 请求处理流程如下图：

nginx 事件机制

nginx 的事件驱动机制是对 epoll 驱动的封装，但其本质还是 epoll + callback 方式：

lua 协程

coroutine.create(f)

创建一个主体函数为 f 的新协程。f 必须是一个 lua 的函数。返回这个新协程，它是一个类型为 "thread" 的对象，创建后并不会启动该协程。

coroutine.resume(co, [, val1, ...])

开始或继续协程 co 的运行。当第一次执行一个协程时，他会从主函数处开始运行。val1, ... 这些值会以参数形式传入主体函数。如果该协程被挂起，resume 会重新启动它；val1, ... 这些参数会作为挂起点的返回值。如果协程运行起来没有错误，resume 返回 true 加上传给 yield 的所有值 (当协程挂起)，或是主体函数的所有返回值(当协程中止)。

coroutine.yield(...)

挂起正在调用的协程的执行。 传递给 yield 的参数都会转为 resume 的额外返回值。

coroutine.status(co)

以字符串形式返回协程 co 的状态：

• 当协程正在运行(它就是调用 status 的那个) ，返回 "running"；

• 如果协程调用 yield 挂起或是还没有开始运行，返回 "suspended"；

• 如果协程是活动的，都并不在运行(即它正在延续其它协程)，返回 "normal"；

• 如果协程运行完主体函数或因错误停止，返回 "dead"。

协程实例(生产者消费者)

使用协程实现生产者消费者：

local function produce()
    while true do
        local x = io.read()
        coroutine.yield(x)       -- 挂起协程
    endendlocal producer = coroutine.create(produce)  -- 创建协程local function receive()    local status, value = coroutine.resume(producer)  -- 执行协程
    return valueendlocal function consumer()
    while true do
        local x = receive()
        io.write(x, "\n")    endendconsumer() -- loop复制代码

lua 与 c 堆栈交互

lua 虚拟机常嵌入 C 程序中运行，对于 C 程序来说，lua 虚拟机就是一个子进程。lua 将所有状态都保存在 lua_State 类型中，所有的 C API 都要求传入一个指向该结构的指针。我们根据这个指针来获取 lua 虚拟机(也就是子进程)的状态。

虚拟机内部与外部的 C 程序发生数据交换主要是通过一个公用栈实现的，也就是说 lua 虚拟机和 C 程序公用一个栈，双方都可以压栈或读取数据。一方压入，另一方弹出就能实现数据的交换。

在 c 中，lua 堆栈就是一个 struct，堆栈索引方式可能是正数也可能是负数，区别是：正数索引 1 永远表示栈底，负数索引 -1 永远表示栈顶。 堆栈的默认大小是 20，可以用 lua_checkstack 修改，用 lua_gettop 则可以获得栈里的元素数目。

C 调用 lua

• 在 C 中创建 lua 虚拟机

  lua_State *luaL_newstate (void)复制代码

• 加载 lua 的库函数

  void luaL_openlibs (lua_State *L);复制代码

• 加载 lua 文件，使用接口

  int luaL_dofile (lua_State *L, const char *filename);复制代码

• 开始交互，lua 定义一个函数

  function test_func_add(a, b) return a + b end复制代码

• 如果你的 lua_State 是全局变量，那么每次对堆栈有新操作时务必使用lua_settop(lua_State, -1)将偏移重新置到栈顶

• 去lua文件中取得test_func_add方法

  void lua_getglobal (lua_State *L, const char *name);复制代码

• 参数压栈

  lua_pushnumber复制代码

• 通过 pcall 调用

  int lua_pcall (lua_State *L, int nargs, int nresults, int msg);复制代码

完整示例，先编写一个 foo.lua 文件，在文件中实现 test_func_add 方法

function test_func_add(a, b)
    return a + b
end复制代码

接下来在 C 代码中调用 foo.lua:

lua_State* init_lua()
{
    lua_State* s_lua = luaL_newstate();    if (!s_lua) {
        printf("luaL_newstate failed!\n");
        exit(-1);
    }
    luaL_openlibs(s_lua);    return s_lua;
}bool load_lua_file(lua_State* s_lua, const char* lua_file){    if (luaL_dofile(s_lua, lua_file) != 0) {
        printf("LOAD LUA %s %s\n", lua_file, BOOT_FAIL);        return false;
    }
    printf("LOAD LUA %s %s\n", lua_file, BOOT_OK);    return true;
}int proc_add_operation(lua_State* s_lua, int a, int b){
    lua_settop(s_lua, -1);
    lua_getglobal(s_lua, "test_func_add");
    lua_pushnumber(s_lua, a);
    lua_pushnumber(s_lua, b);    int val = lua_pcall(s_lua, 2, 1, 0);    if (val) {
        printf("lua_pcall_error %d\n", val);
    }    return (int)lua_tonumber(s_lua, -1);
}int main() {
    lua_State* s_lua =init_lua();    if (!load_lua_file(s_lua, "foo")) {        return -1;
    }

    proc_add_operation(s_lua, 1, 2);
}复制代码

lua 调用 c

• 定义谁先实现 C 接口

  #define target 300static int l_test_check_value(lua_State * l){  int num = lua_tointeger(l, -1);  bool check = (num == target);
    lua_pushboolean(l, check);  return 1;
  }复制代码

• lua 虚拟启动时候，注册加载 C 接口

  lua_register(s_lua, "test_check_value", l_test_check_value);复制代码

• 在 lua 代码中调用注册的 C 接口

  function test_func_check(a)
    local val = test_check_value(a)  return val
  end复制代码

免费体验云安全(易盾)内容安全、验证码等服务

更多网易技术、产品、运营经验分享请点击。

相关文章：

【推荐】 Wireshark对HTTPS数据的解密

【推荐】 网易七鱼 Android 高性能日志写入方案