当微信小程序遇上 TensorFlow：Server 端实现

又是一年一度的十一黄金旅游周，你是在景区看人从众叕，还是在高速公路上观看大妈打太极呢？旅游黄金周我一般是尽量不出门，这个十一也不例外。十月一日跑了一个半马迎接国庆，十月二号选择去了一个偏门的景点：张之洞与武汉博物馆。今天则宅在家，吃吃喝喝之余，琢磨起识别狗狗的微信小程序。

自打想到开发一款识别狗狗的app，我的第一直觉是应该开发一款微信小程序。相对于手机原生app，微信小程序具有开发和部署简单，特别是无需安装，即用即走，特别适合这种功能单一，偶尔用一用的app。

实现方案，首先想到的是TensorFlow.js，手机端实现深度学习，无需服务器端，但是TensorFlow.js并不支持微信小程序，无奈只得选择 小程序 + server 的模式。而我并不擅长web + server的开发，所以在《 这个中秋，我开发了一个识别狗狗的app 》中谈到，我先使用TensorFlow Lite实现了一个Android App。这个Android App 更多的是一个实验性的项目，这个国庆节，空余时间比较多，决定整一整微信小程序。

因为采用端加server的模式，图片识别在server端完成，所以主要功能实现在server端。我们就先来谈一谈Server端的实现。

TensorFlow Serving

Server端的实现方案有好多种，C++/Java/Python都可以，我一度甚至考虑采用Node.js实现。上周浏览Google开发者大会资料时发现，TensorFlow已经提供了服务器部署方案: TensorFlow Serving。

TensorFlow Serving是一种灵活的高性能服务系统，适用于机器学习模型，专为生产环境而设计。 TensorFlow Serving可以轻松部署新算法和实验，同时保持相同的服务器架构和API。 TensorFlow Serving提供与TensorFlow模型的一揽子集成方案，也可以轻松扩展以服务于其他类型的模型。

详细资料请访问： https://tensorflow.google.cn/serving/

TensorFlow Serving正在不断完善中，直接参考示例并不能实现需要的功能，在多方查找资料之后，终于把整个流程走通。

SavedModel

TensorFlow提供两种模型格式：

• checkpoints，这是一种依赖于创建模型的代码的格式。

• SavedModel，这是一种独立于创建模型的代码的格式。

SaveModel是一种与语言无关，可恢复的密封式序列化格式。TensorFlow提供了多种与SavedModel交互的机制，如tf.saved_model API、Estimator API和CLI。TensorFlow Serving需要使用SavedModel格式的模型文件。

retrain并保存为SavedModel

在《 这个中秋，我开发了一个识别狗狗的app 》一文中提到，我们不需要从头训练识别狗狗的深度学习模型，而是采用迁移学习，在现有模型的基础上再训练。考虑到模型是部署到服务器端，所以我选择了识别能力更强的Inception V3模型。

带标签的狗狗数据集采用stanford dog datasets，请自行下载并解压，然后执行如下命令进行训练：

python retrain.py --image_dir=./Images --saved_model_dir=models/inception_v3

训练的模型保存于models/inception_v3/1，其中1是版本号，可以通过retrain.py脚本的命令行参数进行指定。

安装tensorflow model server

在Ubuntu下这个非常容易，只需要使用下面的命令即可：

sudo apt install tensorflow-model-server

为了开发方便，需要安装TensorFlow Serving Python API:

pip install tensorflow-serving-api

启动tensorflow model server

按照文档，启动tensorflow model server非常简单，这里加上rest_api_port参数是启动server，并提供RESTful API，这种API接口方便微信小程序与之进行通信。

tensorflow_model_server --rest_api_port=8501 --model_base_path=$PWD/models/inception_v3

但是通过这种方法启动tensorflow model server，整了半天也没有和client进行上通讯，正在一筹莫展的时候，看到github上的一个项目：https://github.com/tobegit3hub/simple_tensorflow_serving。

简单说，Simple TensorFlow Serving是一个TensorFlow Serving的封装，是机器学习模型的通用且易于使用的服务。

其野心也很大，号称支持如下功能：

• 支持分布式TensorFlow模型

• 支持常规RESTful / HTTP API

• 支持GPU加速推理

• 支持curl和其他命令行工具

• 支持客户端使用任何编程语言

• 支持自动生成客户端代码，无需编码

• 支持图像模型中使用原始图片文件进行推断

• 支持详细请求的统计指标

• 支持同时为多个模型提供服务

• 支持动态的在线和离线模型版本

• 支持为TensorFlow模型加载新的自定义操作

• 通过可配置的基本身份验证支持安全身份验证

• 支持TensorFlow / MXNet / PyTorch / Caffe2 / CNTK / ONNX / H2o / Scikit-learn / XGBoost / PMML 等多种模型

我最看中的就是它的 自动生成客户端代码 功能，在没有这个之前，我查找了很多资料，都没有搞定客户端与服务端之间的通信。另外它还提供了一个web界面，可以查看模型的结构以及signature（签名），这个signature也是折腾了我好久都没有搞定的。

浏览器访问: http://127.0.0.1:8500，web界面如下：

Simple TensorFlow Serving的安装非常简单：

pip install simple_tensorflow_serving

接下来启动server：

simple_tensorflow_serving --model_base_path="./models/inception_v3" &

客户端

微信小程序的开发还没有开始学，先用 python 写一个客户端先测试一下，我们可以使用 自动生成客户端代码 功能：

curl http://localhost:8500/v1/models/default/gen_client?language=python > test_client.py

自动生成的代码如下：

#!/usr/bin/env python

import requests

def main():
  endpoint = "http://ilego.club:8500"
  json_data = {"model_name": "default", "data": {"image": [[[[1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [1.0, 1.0, 1.0]]]]}}
  result = requests.post(endpoint, json=json_data)
  print(result.text)

if __name__ == "__main__":
  main()

可以看出，客户端向server端post一段JSON数据，并获取结果。在这段代码的基础上进行修改，加入图片读取，图片缩放并转换为JSON格式数据，即完成测试客户端代码，代码请参考： https://github.com/mogoweb/aiexamples/blob/master/AIDog/serving/test_client.py

可以尝试测试一张狗狗图片：

python test_client.py --image=./Images/n02116738-African_hunting_dog/n02116738_1105.jpg

结果如下：

n02116738 african hunting dog 0.780203342438
n02115913 dhole 0.0102733308449
n02092002 scottish deerhound 0.00600153999403

前面是类别标签，后面是属于某个类别的概率，上面结果中Top 1概率0.78。

总结

这个服务器端远还没有达到完善，还存在一下问题：

1. 客户端与服务器端的图片采用JSON格式传递，图像数据由二进制转为JSON字符串，空间效率低，后面考虑对图像数据进行base64编码。

2. 预测的效率比较第，从发出请求到收到回应，有几十秒的时间，还没有查找瓶颈在何处。

3. 并发支持，因为现在只是一个简单的测试，如果考虑到产品阶段，多个手机的微信小程序同时进行识别，这还是会有很多工作需要做的。

好了，关于服务端的开发部署就先到这里，下一篇文章我将谈谈微信小程序的开发和与server端的通信，敬请关注！

本文完整代码请参考：https://github.com/mogoweb/aiexamples/tree/master/AIDog/serving