Adlik 喊你来体验 Cheetah 版本啦!

栏目: 软件资讯 · 发布时间: 4年前

内容简介:Adlik 项目的 Cheetah 版本发布啦! Adlik 是由中兴通讯向 Linux 基金会 AI&Data 基金会捐献的一个开源项目,旨在为深度学习落地提供一个简单有效的工具,加速深度学习模型在不同部署环境下的推理速度。Adlik 中通...

Adlik 喊你来体验 Cheetah 版本啦!

Adlik 项目的 Cheetah 版本发布啦!

Adlik 是由中兴通讯向 Linux 基金会 AI&Data 基金会捐献的一个开源项目,旨在为深度学习落地提供一个简单有效的工具,加速深度学习模型在不同部署环境下的推理速度。Adlik 中通过模型编译器、模型优化器来优化深度学习模型并根据具体的硬件环境完成模型的编译,然后由推理引擎实现模型在云、边、端等环境下的运行。

相较于上个版本,Adlik 做了很多优化,在 MLPerf 的测试中有不错的表现。看看下面的新特性,哪个是你感兴趣的呢?快来下载体验,期待你的反馈哦。

模型编译器 Model Compiler

  • Adlik 编译器扩展支持多种新的深度学习框架,包括 PaddlePaddle、Caffe 和 MxNet

  • Adlik 编译器目标模型格式扩展支持 TVM

  • 编译器支持 OpenVINO 量化

  • 支持 TVM 自动搜索,通过重新规划调度模板,采用全局自动调度搜索方案,对 Resnet50 模型进行优化,推理时延在x86 CPU 下略优于 OpenVINO(基于 MLPerf 测试结果)

模型优化器 Model optimizer

  • Yolo V4 模型优化

  • Resnet-50 最新剪枝,蒸馏,量化等优化,模型大小压缩 93%,精度 76%,推理时延 1.33ms(MLPerf测试),8 核推理比原始模型提升 5.0x,单核提升 10.7x

推理引擎 Inference Engine

  • 支持 TVM TF-TRT 运行时

  • 云原生镜像发布 0.3 版本,支持引擎各组件最新版本:

–   OpenVINO:2021.1.110版本

–   TensorFlow:2.4.0

–   TensorRT:7.2.1.6

–   TFLite:2.4.0

–   TVM:0.7

Benchmark Test

  • 支持 Paddle 模型的性能测试,包括 Paddle OCR、PP-yolo、PPresnet-50


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Rust编程之道

Rust编程之道

张汉东 / 电子工业出版社 / 2019-1 / 128

Rust 是一门利用现代化的类型系统,有机地融合了内存管理、所有权语义和混合编程范式的编程语言。它不仅能科学地保证程序的正确性,还能保证内存安全和线程安全。同时,还有能与C/C++语言媲美的性能,以及能和动态语言媲美的开发效率。 《Rust编程之道》并非对语法内容进行简单罗列讲解,而是从四个维度深入全面且通透地介绍了Rust 语言。从设计哲学出发,探索Rust 语言的内在一致性;从源码分析入......一起来看看 《Rust编程之道》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试