一文看懂如何使用模型转换工具X2Paddle

本文转载自百度PaddlePaddle

深度学习的应用主要包括两个部分，一是通过深度学习框架训练出模型，二是利用训练出来的模型进行预测。

开发者基于不同的深度学习框架能够得到不同的训练模型，如果想要基于一种框架进行预测，就必须要解决不同框架的模型之间的匹配问题。基于这种考虑，也为了帮助用户快速从其他框架迁移，PaddlePaddle开源了模型转换工具X2Paddle。

它可以将TensorFlow、Caffe 的模型转换为PaddlePaddle的核心框架Paddle Fluid可加载的格式。同时X2Paddle还支持ONNX格式的模型转换，这样也相当于支持了众多可以转换为ONNX格式的框架，比如PyTorch、MXNet、CNTK等。

项目地址：

https://github.com/PaddlePaddle/X2Paddle

项目概览

X2Paddle最新发布的V0.3版本，包括tensorflow2fluid，caffe2fluid和onnx2fluid。对于TesorFlow和Caffe，我们还提供了它们与Paddle Fluid的常用API对比文档。通过这些文档可以清楚查看这几个框架在API设计上的异同，方便用户快速熟悉PaddlePaddle的接口使用。

caff2fluid

1、支持VGG, ResNet, AlexNet等图像分类模型的转换

2、提供Caffe-PaddlePaddle常用API的对比文档，地址：https://github.com/PaddlePaddle/X2Paddle/tree/master/caffe2fluid/doc

tensorflow2fluid

1、支持VGG, ResNet, NASNet, YOLO-V3, UNet等图像分类，检测和分割模型的转换

2、提供TensorFlow-PaddlePaddle常用API的对比文档,地址：

https://github.com/PaddlePaddle/X2Paddle/tree/master/tensorflow2fluid/doc

onnx2fluid

1、支持VGG，ResNet，Inception, YOLO-V2, UNet等图像分类，检测和分割模型的转换；

2、部分框架，如PyTorch支持导出为ONNX模型，因此也可通过onnx2fluid支持相应框架下模型转换至PaddlePaddle

接下来我们将以 tensorflow2fluid 转换 VGG_16 模型为例,介绍其使用方法。

VGG_16是CV领域的一个经典模型，本文档以tensorflow/models下的VGG_16为例，展示如何将TensorFlow训练好的模型转换为PaddlePaddle模型。

模型转换实战

1.环境准备

模型转换和测试的环境依赖TensorFlow和PaddlePaddle，通过如下方式安装相应依赖（CPU或GPU版本）

CPU版本

pip install tensorflow==1.13.1
pip install paddlepaddle==1.4.0

pip install tensorflow-gpu==1.13.1
pip install paddlepaddle-gpu==1.4.1.post97

git clone https://github.com/PaddlePaddle/X2Paddle.git
cd X2Paddle/tensorflow2fluid

2.下载预训练模型

wget http://download.tensorflow.org/models/vgg_16_2016_08_28.tar.gz
tar xzvf vgg_16_2016_08_28.tar.gz

3.保存模型为checkpoint格式

下载的模型vgg_16.ckpt仅保存了模型参数，需加载模型，并通过tf.train.Saver重新将模型保存成tensorflow2fluid支持的格式

import tensorflow.contrib.slim as slim
from tensorflow.contrib.slim.nets import vgg
import tensorflow as tf
import numpy

with tf.Session() as sess:
    inputs = tf.placeholder(dtype=tf.float32,
                            shape=[None, 224, 224, 3],
                            name='inputs')
    with slim.arg_scope(vgg.vgg_arg_scope()):
        logits, endpoint = vgg.vgg_16(inputs,
                            num_classes=1000,
                            is_training=False)
    # 加载模型
    load_model = slim.assign_from_checkpoint_fn(
                            "vgg_16.ckpt",
                            slim.get_model_variables("vgg_16"))
    load_model(sess)
    # 测试样例数据
    numpy.random.seed(13)
    data = numpy.random.rand(5, 224, 224, 3)
    output_tensor = sess.graph.get_tensor_by_name(
                            "vgg_16/fc8/squeezed:0")
    result = sess.run([output_tensor], {inputs:data})
    numpy.save("tf_result.npy", numpy.array(result))

    # 保存为tensorflow2fluid支持的模型格式
    saver = tf.train.Saver()
    saver.save(sess, "./checkpoint/model")

4.将模型转换为PaddlePaddle模型

模型转换时，需要指定输入tensor的name和shape， batch维以None表示， 同时还要指定输出tensor的name。转换过程中，会根据输入和输出的tensor对计算图进行裁剪，仅转换输入与输出之间的子图。

python tf2fluid/convert.py --meta_file checkpoint/model.meta  \
--ckpt_dir checkpoint \
                                        --in_nodes inputs \
--input_shape None,224,224,3 \
                                        --output_nodes vgg_16/fc8/squeezed \
--use_cuda False \
                                        --input_format NHWC \
--save_dir paddle_model

注意：由于在转换过程中，涉及到部分TensorFlow模型中的参数实时infer，因此通过use_cuda参数可设置infer时是否使用GPU

转换后的模型目录中的各文件含义如下表所示，

5.加载转换后的PaddlePaddle模型，并进行预测

tensorflow2fluid在tf2fluid/model_loader.py中封装了模型加载方法，可通过如下示例代码加载模型，并进行预测。

import tf2fluid.model_loader as ml
import numpy

model = ml.ModelLoader("paddle_model", use_cuda=False)
numpy.random.seed(13)
data = numpy.random.rand(5, 224, 224, 3).astype("float32")
# NHWC -> NCHW
data = numpy.transpose(data, (0, 3, 1, 2))
results = model.inference(feed_dict={model.inputs[0]:data})
numpy.save("pd_result.npy", numpy.array(results))

可通过调用save_inference_model，将模型结构和模型参数均序列化保存，如下代码所示

model.save_inference_model("new_model_dir")

序列化后的模型加载方式可参考PaddlePaddle官网文档说明：

http://www.paddlepaddle.org/documentation/docs/zh/1.4/api_guides/low_level/inference.html#id4

6.对比转换前后模型之前的预测结果差异

在上文的代码中，我们均通过固定随机数据方式，在TensorFlow和PaddlePaddle模型中输入了相同的样例数据，并将结果保存至tf_result.npy和pd_result.npy中，通过对比两个结果的差异，判断模型的转换是否符合需求。

如下代码对比的仅为输入一个样例数据后的差异对比，实际应用场景中，建议用户根据需求定义自己的测试数据进行更严谨的对比测试。

import numpy
paddle_result = numpy.load("pd_result.npy")
tensorflow_result = numpy.load("tf_result.npy")
diff = numpy.fabs(paddle_result - tensorflow_result)
print(numpy.max(diff))

输出： 1.1920929e-06

X2Paddle以用户的需求为导向，对于用户而言不仅可以方便模型的迁移，同时提供的相应API对比文档也可帮助用户通过现有框架的使用经验快速上手PaddlePaddle的使用。目前X2Paddle已经支持了众多的CV领域的经典模型，有需求的小伙伴们赶紧试用起来吧！