Adlik Deer（V0.4.0）版本发布，模型推理加速就靠它啦

内容简介：今天，Adlik Deer 版本 (V0.4.0) 发布啦！ 本次的新版本中，可以看到 Adlik 最近一段时间的许多技术探索，对优化器来说有集成蒸馏、Zen-NAS 优化等；推理引擎也更易用、支持更多硬件和推理运行时。针对 Bert 的模...

今天，Adlik Deer 版本 (V0.4.0) 发布啦！

本次的新版本中，可以看到 Adlik 最近一段时间的许多技术探索，对优化器来说有集成蒸馏、Zen-NAS 优化等；推理引擎也更易用、支持更多硬件和推理运行时。针对 Bert 的模型推理优化，Adlik 使用 Ansor 来搜索全局最优的张量调度方案，为动态输入的推理提供了专用调度器，在 x86 CPU 上能达到比 OpenVINO 更高的吞吐量。

欢迎大家体验试用新版本哦，用 Adlik 实现模型推理性能的飞跃。

Compiler

1. Adlik 编译器支持 OpenVINO INT8 量化
2. Adlik 编译器支持 TensorRT INT8 量化，支持扩展量化校准器，降低引入量化带来的精度下降

Optimizer

1. 支持集成蒸馏方式，使用多教师网络进行蒸馏优化
2. 支持 ZEN-NAS 搜索增强特性，包括并行训练，搜索加速优化，修复原有实现 bug 等，在搜索时间下降 15% 左右情况下，搜索 Score 略有提升，搜索到的模型训练精度提升 0.2%~1%

Inference Engine

1. 支持 Paddle Inference Runtime，使用 Paddle 模型时无需再通过 Onnx 组件转换，直接可以在 Adlik 环境上运行推理。
2. 支持 Intel TGL-U i5 设备推理，完成多模型支持验证，提交 Benchmark
3. 云原生镜像发布 0.4 版本，支持引擎各组件最新版本：
   1. OpenVINO：2021.4.582 版本
   2. TensorFlow：2.6.2
   3. TensorRT：7.2.1.6
   4. Tf-lite：2.4.0
   5. TVM：0.7
   6. Paddle Inference：2.1.2
4. 新增 C++ 版本 Client API，支持 cmake 和 bazel 方式编译，方便用户在 C/C++ 场景应用部署。

Benchmark Test

在 Intel TGL-U i5 设备完成 Resnet-50，Yolo v3/v4，FastRCNN，MaskRCNN 等模型 Benchmark 测试，包括时延，吞吐量，以及 GPU/CPU 视频解码下的各种性能指标。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• 浅谈机器学习模型推理性能优化
• 微软开源用于机器学习模型的高性能推理引擎ONNX
• Paddle Lite v2.3 发布，模型压缩 75%，推理速度提升 20%
• 必看必会的模型推理加速技巧：融合 BN 和 Conv 层
• 超轻量级中文OCR，支持竖排文字识别、ncnn推理，总模型仅17M
• 速度快、模型小，加成OpenCV，自带人脸分析！端侧推理新选择Tengine-Lite

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。