盘点 | 十个移动端深度学习框架，将智慧带入手机

编写: T.R

随着AI的广泛落地，深度学习技术已经进入到我们身边的每一个角落。从拍照识别到美颜相机、从语音翻译到文本预测，各式各样的应用都从电脑走向手机、从云端落地到移动设备中。如何在 移动端 更好地部署和使用深度学习模型， 充分利用有限的算力实现快速准确的预测 是移动端需要解决的关键问题。

近年来国内外各个厂家推出了一系列深度学习架构，除了对网络压缩、剪枝、量化等常规操作进行了优化，还针对内存、GPU/CPU型号进行了特定提升，甚至在指令集架构的汇编层次进行了深入的优化，使得移动端框架日趋完善。下面就让我们来一起浏览目前广泛使用的 10个深度学习移动端框架 （建议先收藏后阅读） 以便在将来的学习工作中更好地进行 移动端AI项目的开发和部署 。

1. TensorFlow Lite

作为深度学习领域最大的框架之一， TensorFlow 在2017年针对性地 为移动端推出了lite框架系统 ，为用户提供训练模型向移动端的无缝迁移。

在使用TensorFlow Lite时，主要通过 打包、转换、部署和优化 四个步骤实现。其中Lite转换器将训练好的模型转换为压缩格式，而优化部分会将32位的浮点数转换为8位整型数，或是部署到移动端GPU上进行运算提高计算速度。

:link: https://www.tensorflow.org/lite

2. Core ML

苹果 作为最大的手机产商之一，在移动端机器学习布局已久。Core ML是一套能够 将机器学习模型整合到app中 的 工具 链系统。

在使用时首先要将训练的模型转换为苹果支持的mlmodel格式。随后利用Core ML加载到app中运行。目前针对各种框架都有便捷的转换器可供使用。

整个框架构建于苹果的底层加速组件之上，包括了基础神经网络模块和针对GPU优化的图形学模块和加速器等。在此基础上可以支持主流的视觉、自然语言处理和各种机器学习任务。由于苹果自己进行硬件设计，对于软件有着更多的优化空间，实现了很多设备运行与内存优化。

:link:   https://developer.apple.com/documentation/coreml

3. Caffe2

这是 Facebook 推出的轻量化、模块化、可规模化使用的架构，可以适用于多平台的深度学习应用，可以同时适应大规模的云计算和移动端，还提供了一系列预训练模型供开发者使用或进一步训练。目前Caffe2与PyTorch已经合并，以便更有效地打通 从训练到部署的全套流程 。

:link:  https://caffe2.ai/

4. Bender

Bender是 Xmartlabs 开源的一套机器学习框架，框架基于 Metal 构建。

Bender可以方便地在iOS的app中定义和运行神经网络，比Core ML更加便捷易用，可以支撑更多层数的模型，并完全通过MPS API释放GPU的性能，并可以便捷地增加预处理和后处理层来处理模型输入输出。

:link:  https://xmartlabs.github.io/Bender/

5. MXNet

亚马逊 官方推荐的深度学习框架，是一款灵活高效的深度学习架构，拥有多种语言接口。针对移动端，MXNet提供了轻量化的接口和单一的文件依赖（MXNet Amalgamation）来 最大限度的减少开发者配置和部署的工作 。所有的接口同一融合成了单一的.cc文件并且只依赖与BLAS库。甚至还有不依赖于BLAS的 迷你版本 ，极大地方便了移动端的开发。

:link:  https://mxnet.incubator.apache.org/versions/master/faq/smart_device.html#deployment-environments

国内互联网巨头和手机产商在移动端的AI发展中也推出了一系列自研的开源框架，包括 百度的MDL，阿里的MNN，腾讯的NCNN和小米的MACE 等都在自家的app上接受了市场的考验。

6. NCNN

腾讯 推出的手机端前向推理框架，针对手机CPU进行了更深入的优化，不依赖任何第三方库，也不依赖于基本计算框架包。NCNN支持多种复杂的网络结构和操作，可拓展可精简、支持量化与半精度，方便多种常见模型的移植。

此外腾讯还开源了FeatherCNN推理库和PockerFlow模型压缩框架用于移动端AI。

7. paddle-mobile（MDL）

属于 百度 开源框架飞桨下的移动端项目，针对多种GPU硬件进行优化，除了移动端外也针对嵌入式设备进行过优化，FPGA、树莓派都可以开跑。目前支持飞桨自己的Fluid模型，但可以通过转换器将其他格式的模型转换到Fluid模型。

paddle-mobile主要包含了加载、程序、执行、操作、核以及变量张量管理模块。文档中包含了详细设计架构图可以学习。

:link:  https://github.com/PaddlePaddle/paddle-mobile/blob/develop/doc/design_doc.md

8. MNN

阿里巴巴 开源的轻量级移动端推理引擎，主要负责在移动端上运行 模型预测 。它针对设备深度优化了多个操作，不依赖于其他包和库，静态库和动态库都在几兆到几百k的量级。支持主流深度学习框架的模型格式。

框架主要包含了转换器部分和解释器部分。转化器中包含了前端和图优化过程，而解释器则包含了加载模型、计算图调度的引擎和负责内存分配，Op实现的后端组成。

:link:  https://github.com/alibaba/MNN/blob/master/README_CN.md

9. MACE

小米 开源的深度学习框架，针对异构平台优化神经网络计算，对卷积操作进行了指令集的优化，支持多种高中低端CPU，GPU芯片和TensorFlow，Caffe等多种模型格式。

:link:  https://github.com/XiaoMi/mace

10. MindSpore

华为 最新发布的手机由一系列AI特别是计算机技术的支撑，其内部拥有一套名为MindSpore的移动端框架。框架设计友好、训练执行高效，具有不同场景不同设备的适应性。

此外各个公司还有一系列没有开源的移动端框架由于自己的产品，包括 商汤的PPL (Parrots)、阿里的xNN、高通的SNPE 等。

相信随着AI的加速落地和更多移动端、边缘计算对AI的需求，未来会出现更多性能更好、更准确、更快速的模型，在方方面面便捷着我们的生活。

https://blog.csdn.net/zeusee/article/details/89601634

https://blog.csdn.net/u010333076/article/details/87896734

https://blog.csdn.net/zchang81/article/details/74280019

https://www.zhihu.com/people/nihui-2/activities

https://www.zhihu.com/question/62871439

MindSpore https://www.huawei.com/en/about-huawei/publications/communicate/86/driving-ai-to-new-horizons

Coral and Nano： https://www.leiphone.com/news/201903/HAmHSBKkpd0rrveF.html

https://www.zhihu.com/question/295045153

https://blog.csdn.net/u010333076/article/details/87896734

https://github.com/XiaoMi/mobile-ai-bench/blob/master/README_zh.md

picture logo:https://dribbble.com/shots/6473215-Illustrator-Curve-Step

-The End-

将门 是一家 以专注于 发掘、加速及投资技术驱动型创业公司 的新型 创投机构 ，旗下涵盖 将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底，创始团队由 微软创投在中国的创始团队 原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

将门创新服务 专注于使创新的技术落地于真正的应用场景，激活和实现全新的商业价值，服务于行业领先企业和技术创新型创业公司。

将门技术社群 专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容，使创新成为持续的核心竞争力。

将门创投基金 专注于投资通过技术创新激活商业场景，实现商业价值的初创企业，关注技术领域包括 机器智能、物联网、自然人机交互、企业计算。 在三年的时间里，将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、 宽拓科技、 杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务， 欢迎发送或者推荐项目给我“门”:  bp@thejiangmen.com

点击右上角，把文章分享到朋友圈

 

将门创投

让创新获得认可！

微信：thejiangmen

bp@thejiangmen.com

点击“ ❀在看 ”，让更多朋友们看到吧~