当 TensorFlow Lite 遇到有道翻译王 2.0 Pro

文 / 有道 AI 技术团队

2018 年 9 月 6 日下 午， 网易有道在 AI 开放日上发布了全新一代有道翻译王 2.0 Pro 。随后在 9 月 20 日举办的 Google 开发者大会上，有道技术总监林会杰分享了端侧 AI 在智能硬件产品上的重要性，并 且现场演示了有道翻译王基于端侧 AI 技术实现的全离线语音翻译功能。与云侧 AI 相比，端侧 AI 具有无网络延迟、更高的稳定性、数据隐私性、响应实时性， 这些特性使得端侧 AI 满足超低延迟场景，如文档扫描、AR 翻译、实时语音翻译等。

在这场发布会之前，有道技术团队已经在移动端离线 AI 技术上做了很多努力和探索。尤其是在端侧 AI 部分应用了 Google 发布的 TensorFlow Lite，本文将介绍有道翻译王的 AI 技术，以及 TensorFlow Lite 在有道翻译王上的应用。

有道翻译王主要用到的 AI 技术有 OCR（光学字符识别）、NMT（神经机器翻 译）、ASR（自动语音识别）、TTS（语音合成）。这些技术满足了一个翻译机的基本要求，通过在 TensorFlow Lite 框架上实现和加速，使得应用效果更加优异。

一台有道翻译王包括多少种 AI 技术？

有道首个运用 TensorFlow Lite 技术的智能硬件设备

compile ‘org.tensorflow:tensorflow-lite:+’

（2） 然后导入 TFlite interpreter：

import org.tensorflow.lite.Interpreter;

（3） 这样就可以创建一个 Interpreter：

protected Interpreter tflite;

tflite = new Interpreter(loadModelFile(activity));

（4） 载入模型函数示例：

/** Memory-map the model file in Assets. */

private MappedByteBuffer loadModelFile(Activity activity) throws IOException {

AssetFileDescriptor fileDescriptor = activity.getAssets().openFd(getModelPath());

FileInputStream inputStream = new FileInputStream(fileDescriptor.getFileDescriptor());

FileChannel fileChannel = inputStream.getChannel(); long startOffset = fileDescriptor.getStartOffset();

long declaredLength = fileDescriptor.getDeclaredLength();

return fileChannel.map(FileChannel.MapMode.READ_ONLY, startOffset, declaredLength);

}

（5） 执行模型：

tflite.run(imgData, labelProbArray);

同时，在 TensorFlow Lite 平台上，对浮点模型和量化模型进行速度测试比较。

TensorFlow 和 TensorFlow Lite 具有良好的通用性，除此之外，对于专有硬件平台 ，我们还对比了高通公司的SNPE ( Snapdragon Neural Processing Engine)，测试  InceptionV3 模型运行在骁龙 835 芯片的 CPU、GPU、DSP 上的速度。

测试有道 OCR Detection 模型在 TensorFlow、TensorFlow Lite 和高通 SPNE 上的运行情况。

由此可见，SNPE 的 CPU 运行速度要比 TensorFlow 的 CPU 速度慢了很多，但是在 DSP 上的运行速度明显优于 CPU 和 GPU。虽然各大芯片厂商积极推出了高效能的神经网络处理器（NPU），但在模型转换和平台集成方面不尽如人意，其通用性和便利性远远不如 TensorFlow Lite。

TensorFlow Lite + 有道翻译王  探索更多可能性

近年来，网易有道在 AI 领域已经做出了很多尝试和探索，积累了很多经验，同时也创造了很多价值。随着深度学习的模型所需算力的增加，在移动端流畅运行模型则成为了一大挑战，为了解决这一大问题，各大硬件厂商推出神经网络加速芯片，软件厂商也通过各种优化来提高速度。Google 也为此做出了努力， 推出了 TensorFlow Lite，优化了模型体积，提高了运行速度，还可以通过 NNAPI 实现硬件加速。

由于 TensorFlow Lite 具有良好的通用性，可以适应多种不同的硬件平台，所以在模型适配上节省了很多成本。目前 TensorFlow Lite 对 LSTM 的支持在不断完善，有道未来打算进一步完成相关模型的迁移和适配。同时也希望 TensorFlow Lite 能通过 Android NNAPI 可以集成更多的硬件平台，包括 Google 最新发布的 Edge TPU 等， 充分利用不同硬件平台的神经网络芯片加速，从而能够使得更多的 AI 技术能够更加高效率、低功耗、低延迟的运行在各种智能硬件设备上，真正实现让 AI 无处不在。