英伟达深度学习推理引擎TensorRT,现在开源了

栏目: 数据库 · 发布时间: 5年前

内容简介:项目链接:https://github.com/NVIDIA/TensorRT本次开源的内容是英伟达 TensorRT 的一部分,其中包括 TensorRT 的插件与一些解析器(Caffe 和 ONNX),以及演示 TensorRT 平台的使用和功能的示例应用程序。相信未来更多的内容也会持续开源。

项目链接:https://github.com/NVIDIA/TensorRT

本次开源的内容是英伟达 TensorRT 的一部分,其中包括 TensorRT 的插件与一些解析器(Caffe 和 ONNX),以及演示 TensorRT 平台的使用和功能的示例应用程序。相信未来更多的内容也会持续开源。

英伟达深度学习推理引擎TensorRT,现在开源了

TensorRT 是一个高性能 深度学习 推理平台,能够为在英伟达 GPU 上运行的语音、视频等 APP 提供更低地延迟、更高的吞吐量。TensorRT 包含输入模型的解析器、支持全新 ops 的插件以及在利用优化进行推理之前的层。

今日,英伟达宣布开源 TensorRT 中的解析器和插件部分,以便于深度学习社区能够做自定义、扩展组件,从而更好的利用 TensorRT 进行 app 优化。

TensorRT 的 GitHub 项目目前已经开放了,其包括贡献指南,它会告诉我们如何参与这一优秀 工具 的完善。英伟达表示他们将在新版本发布时,合并且发布最新的代码。

例如你可以贡献:

  • 针对 ONNX 格式和 Caffe 扩展解析器,用全新 ops 把模型输入到 TensorRT

  • 插件程序让你能够在 TensorRT 中运行自定义 ops。使用开源的插件作为参考,或者建立全新的插件从而支持新的层(layers)

  • 示例只是提供了一个起点,用户也可以贡献全新工作流和管道的示例。

英伟达的目标在于为社区提供更多的特性,并同时更方便地利于开发者对社区做出贡献。英伟达开发者博客介绍了如何开始使用 TensorRT,读者们也能从 TensorRT 的产品页面或这次新构建的 GitHub 项目获取它。

官方教程:如何使用 TensorRT 加速深度学习推断

地址:https://devblogs.nvidia.com/speed-up-inference-tensorrt/

最后,GitHub 项目中对于如何安装 TensorRT 开源软件及构建环境都有非常详细的描述,感兴趣的读者快来试试吧。


以上所述就是小编给大家介绍的《英伟达深度学习推理引擎TensorRT,现在开源了》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

O2O

O2O

张波 / 机械工业出版社华章公司 / 2013-2-5 / 49.00元

2012年是O2O元年,无论是成熟的传统企业、如火如荼的电子商务企业,还是以电信、银行、娱乐等为代表的与民生相关的企业,都在探索和践行O2O模式,因为O2O中孕育着极富创新性的商业模式。本书是国内首部O2O方面的著作,不仅宏观上叙述了O2O的概念、在各行业的应用情况,以及未来的发展趋势,而且还系统阐述和解读了各行业如何借助O2O来顺利实现商业模式的转型和升级;不仅极富洞察力地分析了O2O在营销、支......一起来看看 《O2O》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具